「分かっている」つもりのほとんどは、説明してみると崩れる

一言でいうと

ファスナー、水洗トイレ、自転車。人はこれらの仕組みを「分かっている」と思っている。ところが「では、順を追って説明してください」と頼まれると、途中で詰まる。そして自己評価が急落する。私たちは、見慣れていることを、理解していることと取り違えている。これを説明深度の錯覚と呼ぶ。

論文が実際に言っていること

被験者に、身近な装置（ファスナー、トイレ、ヘリコプター、ピアノの鍵盤など）について、その仕組みをどれくらい理解しているかを自己評価させる。次に、実際にその仕組みを、動作の順を追って詳しく説明してもらう。そのうえで、もう一度、理解度を自己評価させる。

すると、説明を試みた後の自己評価は、はっきりと下がった。「分かっている」と思っていたのに、いざ言葉にしようとすると、自分が表面しか知らなかったことに気づく。この落ち込みは、単なる事実の質問（トイレの発明者は誰か、など）では起きにくく、仕組みの説明を求められたときに特に強く出た。

著者らは、この錯覚がなぜ生じるかも論じている。仕組みは階層的で、全体は分かった気にさせるのに細部は空洞、という構造をとりやすい。しかも、私たちはふだん細部を問われないので、空洞に気づく機会がない。見た目の馴染み、部分的な知識、いつでも調べられるという感覚——それらが「理解している」という感触を作るが、それは実際の説明能力とは別物だ。

興味深いことに、この錯覚は装置の仕組みで強く、物語や事実、手順ではそれほど強くなかった。

だから、どう生きるか

理解の確認は「馴染み」でなく「説明できるか」で行う。

これがこの研究の芯だ。「分かっている」という感覚は、多くの場合、ただ見慣れているだけの信号でありうる。本当に理解しているかを知る唯一の方法は、何も見ずに、順を追って、他人に説明してみることだ。詰まった場所が、理解していなかった場所だ。うなずけることと、説明できることの間には、たいてい深い溝がある。

学びの世界で「人に教えると理解が深まる」と言われるのは、精神論ではない。説明を試みる行為が、この錯覚を強制的に暴くからだ。だから、何かを理解したと思ったら、そこで止めず、白紙に説明を書き出す。書けなければ、まだ理解していない。

AIの説明は、この錯覚の完璧な供給源だ。

いまの文脈では、ここが最も重い。AIに「分かりやすく説明して」と頼むと、なめらかで筋の通った説明が返ってくる。それを読むと、理解した感覚が生まれる。だが、生まれたのは理解そのものではなく、理解した感覚だ。この研究が言うとおり、馴染みは理解を偽装する。AIの流暢な説明は、馴染みを最速で作り出す装置になりうる。

対策は、順番を足すことだ。AIの説明を読んだあと、それを閉じて、自分の言葉で説明し直す。書けたら本物、詰まったら錯覚。読んで分かった気になった状態のままにしない。

ここからは僕の飛躍だ

この研究が扱ったのは、主に機械や自然現象の仕組みだ。人間関係や、答えの決まらない領域の「理解」に、同じ錯覚が同じ強さで起きるかは、この研究からは言えない。

「AIの説明が錯覚を増幅する」は、現象を今の道具に当てはめた僕の解釈で、2002年のこの論文が述べていることではない。

それでも、馴染みを理解と取り違える、説明を試みると錯覚が崩れる、という中核は、後の研究でも繰り返し確認されている。手応えを理解の証拠にせず、説明できるかどうかで測る。これは能力が低いほど自分を過大評価するという研究と同じ方向を指していて、どちらも「自分の内側の確信を疑え」という一点に落ちる。