サンプルが小さい研究は、当たっていても信じてはいけない

一言でいうと

神経科学の研究がどれくらいのサンプルサイズでやられているかを集計したら、平均的な検出力はおよそ2割しかなかった。検出力が低いと、見逃しが増えるだけでなく、たまに有意に出た結果は効果を過大に見せる。小さな研究は、外したときだけでなく、当たったときも信用できない。

論文が実際に言っていること

多数のメタ分析を集め、そこに含まれる個々の研究の検出力を逆算した。検出力とは、本当に効果があるときにそれを有意として検出できる確率のことだ。中央値はおよそ0.21。半分以上の研究が、あるはずの効果を8割方見逃す規模で行われていた。

低い検出力は、二つの厄介な帰結を持つ。

ひとつは陽性的中率の低下。検出力が低い分野では、有意に出た結果のうち本物の割合が下がる。有意なのに偽物、という比率が上がる。

もうひとつが、この論文がとくに強調した点で、効果の過大推定だ。検出力が低いと、偶然データが大きく振れたときだけ有意の壁を越える。だから「有意になった研究」だけを見ると、そこに残るのは大きく振れた例ばかりで、効果は実際より大きく見える。著者らはこれを「勝者の呪い（winner's curse）」と呼ぶ。符号すら逆に出ることもある。

結論として、少ないサンプルの研究は、非効率なだけでなく、文献全体を歪めると論じた。

だから、どう生きるか

「n が小さいが、有意で、効果も大きい」を、いちばん警戒する。

直感に反するが、これがこの論文の核心だ。小さな研究で大きな効果が有意に出たとき、それは「強い発見」ではなく「勝者の呪いの典型」かもしれない。派手な数字ほど、次に大きい研究でやると縮む。健康法でも心理術でも、少人数で劇的な効果、という触れ込みには、この目盛りを当てる。

規模を先に見て、結論をあとで見る。

論文でもニュースでも、まず何人を対象にしたかを確認する癖をつける。数十人の結果と数千人の結果は、同じ「有意」でも重みが違う。この順番——規模が先、結論があと——は、AIに要約させると真っ先に落ちる情報でもある。要約は結論を残し、サンプルサイズを削る。だから自分で原著に一歩戻る意味がある。

自分の実験でも、少ない試行で結論を出さない。

新しい習慣を数日試して「効いた」と判断するのは、検出力2割で有意を拾いにいくのと同じだ。効果が本物でも、その規模では安定して見えない。逆に、数日で劇的に変わったように感じたなら、それは大きく振れた側だけを見ている疑いがある。判断は、振れが均される程度の回数を経てから下す。

ここからは僕の飛躍だ

集計の対象は神経科学と、一部の関連分野だ。検出力の水準は分野や年代で違い、この数字をそのまま全科学に広げることはできない。近年は大規模化と事前登録が進み、状況は変わりつつある。

「自分の生活実験も検出力の問題だ」は、統計の枠組みを個人の試行に当てはめた僕の応用で、この論文が個人の自己実験を論じているわけではない。

それでも、検出力が低いと当たりの効果まで歪む、という中核は数理的に堅い。Ioannidis の議論を、実際の文献を数えて裏づけた一本として読める。