インサイト
組織の判断力ギャップ
私たちはこの1世紀をかけて、「知っている」人を評価する組織を築き上げてきた一方で、「自分が知らないことに気づく」人を評価する組織作りにはほとんど時間を割いてこなかった。かつてはその非対称性も許容できたが、今やそれは長く続かないかもしれない。
今年初め、Scaleの研究チームが「HiL-Bench」と呼ばれるベンチマークを発表した。前提は単純だ。フロンティアAIモデルがすでにうまくこなしている困難なソフトウェアやデータベースのタスクを用意し、そこにいくつかの詳細を削る――つまり、あらゆる実際の仕様書から抜け落ちているような要素、すなわち曖昧な要件、ドキュメント間の矛盾、誰も書き留めなかった事実を取り除くのだ。
完全な情報が与えられた場合、モデルはタスクの75%から89%を解決した。人間に追加の質問をする能力を与えつつも、いつ質問すべきかの判断をモデル自身に委ねたところ、パフォーマンスは一方のドメインで38%、もう一方では12%にまで低下した。
ここで驚くべきなのは、失敗そのものではなく、その「やり方」だ。システムは停止もせず、不確実性を示すこともなかった。自信に満ちた思い込みでギャップを埋め、そのまま処理を続けたのだ。何千もの失敗の軌跡をたどると、あるモデルファミリーは一度も検証したことのない信念に基づいて複雑な作業を構築し、別のモデルは行き詰まっていると認識しながらも強行突破した。
能力のギャップではなく、判断力のギャップ
研究者たちは、この欠けている要素を的確に名付けている。「能力のギャップ」ではなく、「判断力のギャップ」であると。質問する仕組みは存在していた。しかし、それをいつ使うべきかという判断力が欠けていたのだ。
ほとんどの組織にも同じギャップが存在しており、しかもそれは機械よりもはるかに長い間、存在し続けてきたと私は考えている。
私たちがどのように人材を選抜しているかを考えてみよう。私たちは、彼らが過去に何を生産したか――学位、肩書、スループット、これまでの担当範囲の証拠を求める。ブリーフが破綻している時や、プランが2年前には正しかったはずの前提に依存している時に、それを察知できる能力の証拠を求めることはほとんどない。バーニング・グラス・インスティテュートとワンテンが今年の春に米国の1,000社以上の大企業を調査したところ、学歴要件を形式的に撤廃した企業であっても、非大卒資格を持つ人材の採用増はわずか2ポイントにとどまったことが判明した。方針は変わっても、採用の本能は変わらなかったのだ。米国の中核労働人口の58%は4年制大学の学位を持たないにもかかわらず、採用の仕組みは相変わらず同じシグナルを求め続けている。
その結果、私たちは「自信に満ちた実行」に最適化された組織を組み立て、いざその自信に満ちた実行こそが失敗の原因であると判明したときに驚いてみせるのだ。
誤った前提は今や機械のスピードで増幅される
なぜ今、これがより重要なのか？ 実行にコストがかかっていた時代には、自信に満ちた誤った前提はゆっくりと伝播していった。それは人間、下書き、会議、予算案を通過し、その過程で誰かが「待てよ、僕たちが実際に言いたいのはどういうことだ？」と静かに問い直すチャンスが何度でもあった。しかし現在の実行は安価で迅速だ。誤った前提は今や機械のスピードで増幅される。ボトルネックは上流へ、つまりその仕事が始まった時点での問いの質へと移動するのだ。
だからこそ、「気づくこと」は一種の生産活動であり、おそらく最も価値のある生産活動となる。そして「気づくこと」は専門知識だけから生まれるものではなく、複数のシステムで生きてきた経験から生まれる。金融業界で働く前に倉庫で働いていた人は、部屋にいる他の人々が読み過ごしてしまうサプライチェーンの前提に気づく。看護師から管理者に転身した人は、どのポリシーが火曜日の夜を乗り切れないかを聞き分ける。移民は、ここで育った人にしか意味が通じない資料の中のフレーズを聞き取る。私にとってこれが、多様な組織を支持する真の理由である。違いが賞賛に値するからではなく、違いこそが、同質的なグループが共有しているゆえに自分たちでは見えない前提を検出できる唯一の確実な探知機だからだ。
判断力はトレーニング可能であることが判明した
このベンチマークの最も心強い部分は、最後の発見にある。それは、判断力がトレーニング可能であることが判明したという点だ。解決不可能な不確実性を認識し、それに基づいて行動するようにトレーニングされたはるかに小規模なモデルは、質問の質だけでなく結果も向上させた。
モデルでトレーニングが可能なのであれば、組織でも培うことができる。しかし、一度も記録したことのないものを育てることはできない。そこで私は再び、ずっと頭から離れない問いに戻ってくる。あなたの組織は、誰かが作業を中断してより良い問いを投げかけた瞬間の記録を残しているだろうか？ それとも、ただ前進し続けた人々のことしか記憶していないのだろうか？