インサイト
AIはいかにして従来の業績測定を壊すのか
私がずっと考えていたある大学の学部は、昨年、間違ったことについての議論に時間を費していました。
議論のテーマは不正行為でした。学生がAIで書いた課題を提出するようになり、教員組織はどの機関も行き着く2つの陣営に分裂しました。「禁止して取り締まるか、許可して様子を見るか」です。どちらの陣営も、問題の本質は誠実さであると仮定していました。しかし、違います。それは測定でした。1世紀にわたり、エッセイが評価ツールとして機能したのは、それがコストのかかるものだったからです。まとまりのある8ページを作成するのには時間がかかり、その「遅さ」こそが肝心だったのです。学部が求めていたのはエッセイそのものではありません。若者がプレッシャーの中で論理を一貫させられるという証拠でした。その成果物は採点が安価で偽造が難しかったため、本当に重要なものの代役を務めていたのです。制作コストが崩壊すると、プロキシ（代理指標）はプロキシとして機能しなくなります。成果物は届きますが、それを提出した人物に関する情報はもはやそこには含まれていません。これは教育の問題ではありません。今やあらゆる企業のすべての業績評価に存在している問題です。成果物が届いても、人間が何を行ったのか組織にはもはや判別できないのです。
私に出口を考えさせる2つの証拠
1つ目は、台北の10の高校でPythonを教えているウォートン校主導のチームが実施した、5か月にわたるランダム化試験の研究です。すべての生徒が同じAIチューターと教材を使用しました。唯一の変数は演習問題の出題順序であり、1つのグループでは固定され、もう1つのグループでは各生徒の実際のエンゲージメント状況に基づいて調整されました。そのわずかな設計変更により、期末試験のスコアが0.15標準偏差引き上げられました。著者らはこれを6〜9ヶ月分の追加学習に相当する効果だと比較しています。追加の指導時間も、教員の追加の負担もありません。ツールは同一でした。その周囲の設計が違っていたのです。設計こそが成果のすべてでした。2つ目は、もう少し不愉快な事実です。OECDが実施した、31か国の約16万人の成人を対象とした最新の成人スキル調査（Survey of Adult Skills）では、過去10年間でほとんどの国において読解力と算数能力が低下または停滞していることが判明しました。成績下位10%で最も急激な低下が見られ、上位では改善が見られました。国内におけるスキルの不平等は拡大しています。およそ5人に1人の成人が、単純な文章や基本的な算数しか処理できません。つまり私たちは、流暢な出力を生成するテクノロジーを、流暢な出力を評価する能力が（多くの人において）低下している集団に投入しているのです。それによって自動的に誰かが賢くなるわけではありません。設計上の決定が途方もなく重要になるということです。
それは貢献を測るツールである
学部が最終的に行ったことはささやかであり、そして私はそれが正しかったと思っています。学部は成果物単体の採点をやめ、その背後にある意思決定の採点を始めたのです。学生は相変わらずエッセイを提出します。しかし同時に、「何を試みて断念したのか」「どの情報源をなぜ拒絶したのか」「モデルのどこに同意できなかったのか」についての短い記録も提出します。その後、反論してくる相手に対して20分間、自身の論拠を弁護するのです。課題を書くこと自体が難しくなったわけではありません。偽造することが難しくなったのです。なぜなら、評価の対象がアウトプットから、その背後にある推論へと移ったからです。採点時間は増加しました。学部は、それが何らかの現実的なものを測定するための代償であると判断しました。これが何を意味するか注目してください。これは誠実さの取り締まりではありません。判断の結果得られたプロダクトがもはや希少ではない世界において、人間が行った判断を可視化する方法、すなわち貢献測定ツールなのです。あらゆる組織にこれが必要になるでしょう。あなたの会社の評価シートはエッセイ時代に作られたものです。かつて成果物が高価であった時代に作られたため成果物を測定しているのであり、もはや何の意味も持たなくなってからも、誰も代替案を提案していないという理由で成果物を測定し続けます。大学は、システムがごまかしをしていることに生徒が即座に気づく前で、締め切りに追われながら、この問題を公開の場で解決せざるを得ません。私たち残りの者は、もっとゆっくりと、そしてより不誠実にそれを解決することになります。私は彼らの轍を踏むよりも、彼らから学びたいと思います。