科学者はデータをどのように解釈すべきでしょうか。何日、何週間、何か月、時には何年もかけて測定と記録を行った後、研究室を出た研究者は、実験結果についてどのように結論を導くのでしょうか。統計的手法は広く用いられていますが、 Nature Methodsに掲載された私たちの最近の研究 は、科学で古くから使われている統計指標の一つであるP値が、私たちが考えるほど信頼できない可能性を示しています。
科学者は数字を好みます。ほかの数字と比較できるからです。そして、こうした比較では、その過程を形式化するために統計分析がしばしば用いられます。あらゆる統計分析の根底にある大まかな考え方は、研究者が実験結果をある程度客観的に評価できるようにすることです。
どちらの薬のほうが効果的か？
科学者は、二つの条件の間に差があるかどうかを調べる実験をしばしば行います。青い錠剤（条件1）を服用した後のほうが、赤い錠剤（条件2）を服用した後より、早く回復するのでしょうか。錠剤の効果に差があるかを評価する最も一般的な方法は、患者の一部に青い錠剤を、別の一部に赤い錠剤を投与し、統計分析を行って、どちらか一方の色のほうが効果的だという強い証拠があるかを判断することです。
実験結果を評価するため、科学者は非常によく「P値」（Pは確率を表します）を用います。これは結果がどれほど説得力を持つかを示すもので、P値が小さければ、研究者はその知見が偶然の産物ではなく、実際のものだと考えます。錠剤の例では、P値が小さい場合、二色の錠剤の効果に差があるという良い証拠とみなされます。
P値は差があることの証明には決してなりません。科学研究は物事を証明するのではなく、その根拠の程度を示すだけです。それでも、P値の低い研究は説得力があると考えられ、結果が正しいかを確かめるために再現実験が行われることはあまりありません。科学に使える資金や時間には限りがあるため、一見明白な研究結果を二重に確かめるより、新たな発見に取り組むほうがよいという考え方は、もっともらしく思えるかもしれません。
P値は気まぐれな友人
しかし、私たちは単純なモデルを使い、研究を再現するとP値がしばしば大きく変動することを示しました。私たちのモデルは単純な状況を描いています。二つの条件から標本を測定し、条件間に差があるという良い証拠があるかを調べるために、t検定と呼ばれる統計検定を行い、その検定結果をP値によって解釈します。
私たちの想定では、二つの条件は実際にある程度異なっているため、妥当な標本数であればこの差を見つけられると考えられます。つまり、妥当な標本数なら、t検定に関連する低いP値が得られるはずです。しかし、モデル実験を何度も繰り返すと、P値はそのたびに大きく変動することが分かります。
友人が来週の夕食に招いてくれたのに、その前の日々に何度も連絡してきて到着時刻を大きく変えるなら、夕食が実際に何時になるのかほとんど分からないと、すぐに結論づけるでしょう。同様に、実験を行うたびにP値が大きく変わるなら、P値は信頼できず、実験を一度行っただけで得られる証拠の強さを測る指標としては不適切です。
データ分析にとって、その影響は非常に大きいものです。研究で得られた低いP値は、データに重要なパターンが存在することと同じくらい、運に左右されている可能性があります。そのため、実験を再度行うと、まったく異なるP値になることも十分あり得ます。したがって、一度の実験で得られた低いP値を、条件間に差があるという良い証拠とみなすことはできません。
この弱点は、多くの学問分野の基礎をなす、過去の著名な科学的知見が、 再確認されていない 理由を説明できるかもしれません。こうした知見は、元の研究がようやく 再検証されるようになった今、確認されていないのです。
その例には、がん研究における再現性の欠如や、「言語的覆い隠し」と呼ばれる現象が見かけ上失われたことがあります。この現象では、顔を見せられて説明するよう求められた人は、ただ顔を見ただけの場合よりも、後でその顔を認識しにくくなります。
では、なぜP値はこれほど変動しやすく、気まぐれなのでしょうか。残念ながら、実験を行うたびに標本間にある程度のばらつきが生じると、P値は不安定になるようです。
次に進む
では、P値でないとすれば、データの分析と解釈には何を使うべきでしょうか。私たちは、「差があるか」という問いから、「差はどれほど大きいか」という問いへと、考え方を根本的に転換すべきだと主張します。結局、科学者が知りたいのは、条件間に差があるかどうかだけではないことがほとんどです。
差は、たとえごく小さくても常に存在します。より重要なのは、その差が関心を持つに値するほど、あるいは重要といえるほど大きいかを問うことです。赤い錠剤の効果が青い錠剤よりわずか0.01%高いなら、両者に差はありますが、注目に値するものではありません。実際には、一方の色の錠剤も他方と同じくらい有効です。
P値は捨て、科学者は代わりに、実験に基づいて条件間の差がどれほど大きいかに注目できます。また、その差を研究室の外に一般化した場合にどれほど精確である可能性があるかを示す、簡単に算出できる値も提示できます。
したがって、データ収集が終わったら、科学者は青と赤の錠剤の効果の差がどれほど大きいか、そしてその推定値がどれほど精確である可能性があるかに注目すべきです。研究者はすでに、効果量や信頼区間といった単純な概念を知っています。必要なのは、それらを重視し始め、P値を過去のものにすることです。
残念ながら、P値の欠点を認識して、その使用を禁止し始めた学術誌は一部にとどまる一方、最近では 少なくとも一つの学術誌 が信頼区間の使用も禁止しました。統計学上の厳密な定義によって、過剰に解釈されたり誤解されたりするおそれがあるためだとされています。
この見解に対する妥当な反論は、信頼区間が、知見の誤差範囲を推定するうえで有用な手段だというものです。研究室で収集したデータ標本から、結果が実際に重要となる現実世界の状況を理解する際に、信頼区間は欠かせない指標です。
この記事は当初、 The Conversationに掲載されました。 元の記事をお読みください。掲載は、世界経済フォーラムが見解を支持していることを意味しません。
アジェンダの最新情報を得るには、 週刊ニュースレターにご登録ください。
著者：ルイス・ハルシーは、 ローハンプトン大学の比較・環境生理学上級講師です。
画像：デジタルデータの大容量ストレージに使われるロボット式テープライブラリ。REUTERS/Thomas Peter。
