ビッグデータ革命は、以前の研究者が夢見るしかなかった分析ツールを私たちにもたらすことができます。しかし、データだけでは十分ではありません。カーメン・ラインハートとケネス・ロゴフ、そして今やトマ・ピケティが示しているように、方法の透明性も同じくらい重要です。
論文 「A Critique of Reinhart and Rogoff」は、両者の2010年の研究の結論に最初に疑問を投げかけた論文であり、 「Growth in a Time of Debt」の著者であるトマス・ハーンドン、マイケル・アッシュ、ロバート・ポリンは、「コーディングの誤り、利用可能なデータの選択的な除外、要約統計量の型破りな重み付けが、公的債務とGDP成長率の関係を不正確に表す重大な誤りにつながっている」ことを発見したと主張しました。
特定された最も明確な問題の一つは、データをスプレッドシートに入力する際に生じた誤りでした。これらの誤りにより5か国が分析から除外され、他のコーディングの誤りとあわせて、著者らは債務負担の大きい国の平均成長率を過小評価し、最も債務の少ない国の成長率を過大評価する結果となりました。
しかしながら、コーディングの誤りが全体の結果に占める割合はわずかにすぎません（また、 ラインハートとロゴフが誤りとして認めた点）。むしろ、両論文の結論の相違は、主にラインハートとロゴフの「利用可能なデータの選択的な除外、および要約統計量の型破りな重み付け」を補正したことに起因しています。つまり、ハーンドン、アッシュ、ポリンが提起した主な問題は、データだけでなく、元の論文の方法論にあったのです。
これは、フランスの経済学者トマ・ピケティと彼の新著 『21世紀の資本』をめぐる現在の論争へとつながります。 ピケティが称賛に値する形でオンラインに公開したデータを精査したところ、フィナンシャル・タイムズは、本の主要なグラフの基となる数値に「説明のつかないデータの記載と誤り」があると主張しました。FTの経済担当編集者クリス・ジャイルズにとって、これらは、社会で最も裕福な層が保有する富の割合が着実に増加しているという本の中心的な主張を損なうほど深刻なものでした。
ラインハート／ロゴフの件と同様に、ピケティとその研究者が入力したデータに問題が見つかりました。しかし、前の件とも同様に、FTが発見した疑惑の欠陥の大部分は転記の誤りだけでは説明できません。むしろ、それらは「元の情報源データの説明のない変更」と一貫性のない重み付けに関する方法論上の見解の相違から生じています。
予想どおり、前の事例と同様に、著者とその支持者は本に向けられた非難を 強く否定しています 。まず、ピケティは、データの調整は時間と国をまたいで一貫性を保つために必要だったと主張しています。次に、（ラインハート／ロゴフの例とは異なり）分析で発見された疑惑の欠陥は、 富の不平等が拡大しているという全体的な傾向を覆すものではありません。
これらの主張と反論の真偽について、どのような見解をお持ちでも、両方の事例が示しているのは、方法論の根底にある前提と調整を明確にしないと、結果がこの種の批判にさらされるということです。基礎となるデータに調整を加えたことに説得力のある根拠がある場合でも、説明がなければ、悪意がないかもしれない場合にでも、人々は悪意を想定しがちです。
研究結果を再現しようとする人々にとって、データがどのように選択され、照合されたかを理解することは極めて重要です。この慣行は、誤りを取り除くだけでなく、最終的な結論をより堅固にすることもできます。また、読者は特定の決定がなぜ下されたのかを知ることができ、論証をより深く理解できます。
その意味で、ピケティ、ラインハート、ロゴフは、研究の進め方が結果よりも重要性が低いと想定した点で責任があります。しかし、この責任は彼らだけのものではありません。ビッグデータの可能性を受け入れるのであれば、単にスプレッドシートを精査に公開するだけでは不十分です。ここでの教訓は明白です。データを選択する際の選択を明らかにしてこそ、透明性は説明責任となり得るのです。
執筆者：トマス・ハーストは世界経済フォーラムのデジタルチームに所属しています。
画像：2013年6月24日、ワルシャワのオフィスでノートパソコンを持つ男性の影に投影された2進コードを示すイラスト写真。REUTERS/Kacper Pempel
