最近発表された論文では、過去半世紀で最も重要な統計学のアイデアのリストが示されました。
本論文の著者らは、人工知能の革命を推進してきた統計学上の10のブレークスルーを挙げています。
これら10冊の書籍と論文は、各分野全体を代表するものと見なすことができます。
Siriに助けを求めたことがある方や、ルネサンス期の画家の画風で自画像を生成したことがある方は、ディープラーニングとやり取りしたことがあるはずです。ディープラーニングは、膨大なデータfrom パターンを抽出して予測を行う人工知能の一形態です。ディープラーニングやAIは広く知られた言葉になりましたが、この革命を後押ししてきた統計学上のブレークスルーはあまり知られていません。最近の論文で、アンドリュー・ゲルマン（コロンビア大学統計学教授）とアキ・ヴェフタリ（フィンランド・アアルト大学コンピュータサイエンス教授）は、リストを発表しました。過去50年間で最も重要な統計学のアイデアを挙げたものです。
以下では、ゲルマンとヴェフタリが、統計学の基礎講座を聞き流してしまった方のために、このリストを解説しています。彼らによれば、各アイデアは分野全体の代表例と見なすことができますが、いくつかの留意点があります。科学は漸進的に進むものであり、これらの研究を取り上げることは、同種や関連する研究の重要性を軽んじる意図ではありません。また、統計学と機械学習の手法に焦点を当てており、統計計算、ならびにデータ分析や可視化を日常的な実用ツールにする手段と計算能力を提供してきたコンピュータサイエンスや工学における、同様に重要なブレークスルーは対象外としています。最後に、手法に焦点を当てていますが、理論と手法の発展は、特定の応用によって動機づけられることが多いことも認識しています。
重要なものが抜けていると思われますか？ @columbiascience 宛にツイートしてください。ゲルマンとヴェフタリがリストへの追加を検討します。
以下の10本の論文と書籍はいずれも過去50年以内に発表されたもので、発表順に並べています。
1. 赤池弘之（1973）。Information Theory and an Extension of the Maximum Likelihood Principle。Proceedings of the Second International Symposium on Information Theory。
本論文は、モデルの適合度を推定される予測精度に基づいて評価するための指標であるAICという用語を導入したものです（当初はAn Information Criterionと呼ばれ、現在はAkaike Information Criterionとして知られています）。AICはすぐに有用なツールとして認識され、本論文は1970年代半ばに発表され、統計的推論を予測の枠組みに位置づけた複数の論文の一つでもありました。現在では、予測による検証が統計学と機械学習における基本原理であると認識されています。赤池は応用統計学者であり、1960年代には空港の滑走路の粗さを測定しようと試みました。これは、ベノワ・マンデルブロが分類学やパレto分布に関する初期の論文から、後にフラクタルの数学へと研究を発展させたのと同様の道筋です。
2. ジョン・テューキー（1977）。Exploratory Data Analysis。
この書籍は非常に大きな影響力を持ち、一度に読み通せる楽しい内容です。従来、データの可視化と探索は、実用統計学において格下の側面と見なされていました。華やかさはモデルの当てはめ、定理の証明、さまざまな数学的仮定や制約の下での統計手続きの理論的性質の展開にありました。テューキーはこの考え方を完全に覆しました。彼は、既に知っている（あるいは知っていると考えている）ことを確認するためではなく、また、決して信じるべきではなかった、あるいは信じていなかった仮説を棄却するためでもなく、データから新たで予想外の洞察を発見するための統計ツールについて論じました。彼の研究は、確認、批判、発見を統合するネットワーク分析、ソフトウェア、理論的視点の進歩を促しました。
3. グレース・ワーバ（1978）。Improper Priors, Spline Smoothing and the Problem of Guarding Against Model Errors in Regression。Journal of the Royal Statistical Society。
スプライン平滑化は、ノンパラメトリックな曲線を当てはめるための手法です。この時期のワーバの別の論文は「自動French curve（自動曲線定規）」と題されており、ノイズや外れ値に過剰適合することなく、データを通して任意の滑らかな曲線を当てはめることができるアルゴリズムの一群を指しています。現在では自明に思えるかもしれませんが、曲線当てはめの出発点が多項式、指数関数、その他の固定された形式であった時代においては、大きな前進でした。スプラインの直接的な適用可能性に加え、本論文は理論的にも重要でした。高次元モデルの正則化に関する考え方を統合することで、後のノンパラメトリックベイズ推論の研究の基盤となりました。
4. ブラッドリー・エフロン（1979）。Bootstrap Methods: Another Look at the Jackknife。Annals of Statistics。
ブートストラップは、仮定を置かずに統計的推論を行うための手法です。いわば、データが自らのブートストラップ（靴紐）で自分自身を引き上げるようなものです。しかし、仮定なしに推論を行うことはできません。ブートストラップを非常に有用で影響力のあるものにしたのは、仮定が計算手続きに暗黙のうちに組み込まれていたことです。それは、データを再標本化するという大胆なまでに単純なアイデアです。元のデータに対して行われた統計手続きを何度も繰り返すのです。過去50年の多くの統計手法と同様に、この手法が広く有用になったのは、シミュレーションが数学的解析に代わることを可能にした計算能力の爆発的な向上によるものです。
5. アラン・ゲルファンドとエイドリアン・スミス（1990）。Sampling-based Approaches to Calculating Marginal Densities。Journal of the American Statistical Association。
高速計算が統計学と機械学習に革命をもたらしたもう一つの方法は、拡張可能なベイズモデルです。従来の統計モデルは静的でした。すなわち、タイプBのデータに分布Aを当てはめるというものです。しかし、現代の統計モデリングは、より組み立て式（Tinkertoy）的な性質を持ち、分布や変換のライブラリを呼び出すことで、問題が生じたときに柔軟に解決できます。私たちに必要なのは、これらの組み合わせたモデルを当てはめるための計算ツールだけです。影響力のある論文で、ゲルファンドとスミスは新しいツールを開発したわけではなく、ギブスサンプリングが多数の統計モデルの大きなクラスを当てはめるためにどのように使えるかを示しました。近年、ギブスサンプラーは、ハミルトニアン・モンテカルロ、粒子フィルタリング、変分ベイズ、そしてより精緻なアルゴリズムに置き換えられていますが、モジュール式のモデル構築という基本原理は残っています。
6. ギド・インベンスとジョシュア・アングリスト（1994）。Identification and Estimation of Local Average Treatment Effects。Econometrica。
因果推論は、問いが単なる記述（これまで状況はどうだったか？）や予測（次に何が起こるか？）ではなく、反事実（Xを行った場合、Yはどうなるか？）である問題すべての中心にあります。因果的手法は、探索、モデリング、計算を通じて、統計学や機械学習の他の分野とともに発展してきました。しかし、因果推論には、同一の人物に対してXを行い、かつXを行わないことはできないなど、測定が不可能なデータについて問うという追加の課題があります。その結果、この分野における重要なアイデアは、与えられた実験からどの問いに信頼性をもって答えられるかを特定することです。インベンスとアングリストは経済学者であり、因果効果が変動する場合に何が推定可能かについて影響力のある論文を執筆しました。彼らのアイデアは、このテーマにおける後の研究の多くの基礎となっています。
7. ロバート・ティブシラニ（1996）。Regression Shrinkage and Selection Via the Lasso。Journal of the Royal Statistical Society。
回帰、すなわち一連の入力や特徴量から結果変数を予測する場合、課題は、多数の入力とその相互作用を含めることにあります。これらの入力を組み合わせて妥当な予測を得る方法が非常に多いため、結果として生じる推定問題は統計的に不安定になります。古典的な最小二乗法や最尤推定はノイズを多く含み、将来のデータに対して十分な性能を発揮しないことがあるため、当てはめを制約し、安定性を得るために「正則化」するさまざまな手法が開発されてきました。本論文でティブシラニは、計算効率が高く、現在広く使われている正則化手法であるラッソを導入しました。これは、より複雑なモデルにおけるデータに基づく正則化の雛形となりました。
8. リーランド・ウィルキンソン（1999）。The Grammar of Graphics。
本書でウィルキンソンは、SPSSやTableauを含む、いくつかの影響力のある商用ソフトウェアプロジェクトに携わってきた統計学者として、統計グラフィックスの枠組みを提示しています。その枠組みは、円グラフと棒グラフの比較、散布図の描き方、データインクやチャートジャンクといった通常の焦点を超えて、データと可視化の関係を抽象的に探求するものです。この研究は、特にRというプログラミング言語のggplot2やtidyverseファミリーのパッケージを通じて、さまざまな経路で統計学に影響を与えてきました。探索的データ分析とモデル分析をデータサイエンスのワークフローに統合する上で、重要な一歩となるものです。
9. イアン・グッドフェロー、ジャン・プージェ＝アバディ、メーディ・ミルザ、ビン・シュー、デイビッド・ウォルド＝ファーリー、シェルジル・オザイア、アーロン・コービル、ヨシュア・ベンジオ（2014）。Generative Adversarial Networks。Proceedings of the International Conference on Neural Information Processing Systems。
近年の機械学習の目覚ましい成果の一つは、予測と推論のフィードバックを通じたリアルタイムの意思決定です。有名な例として、自動運転車や、自ら学習して地球上で最強の囲碁プレイヤーになったDeepMindのAlphaGoがあります。敵対的生成ネットワーク（GAN）は、強化学習の問題を自動的に解決できるようにする概念的な進歩です。これは、汎用人工知能という長年の目標に向けた一歩であるとともに、並列処理の力を活用して、プログラムが自分自身と何百万回もの対局を行うことで自ら学習できるようにするものです。概念的なレベルでは、GANは予測と生成モデルを結びつけるものです。
10. ヨシュア・ベンジオ、ヤン・ルカン、ジェフリー・ヒントン（2015）。Deep Learning。Nature。
ディープラーニングは、多数の特徴量を用いて柔軟な非線形予測を行うことができる人工ニューラルネットワークモデルの一種です。その構成要素であるロジスティック回帰、多層構造、ベイズ推論は、ほとんど新しいものではありません。この研究の流れを非常に影響力のあるものにしているのは、これらのモデルが、消費者行動から画像解析に至るまで、さまざまな予測問題を解決するように調整できるという認識です。統計学と機械学習における他の発展と同様に、この調整プロセスは、高速な並列計算の出現と、大規模モデルをリアルタイムで当てはめるためにその能力を活用する統計アルゴリズムがあって初めて可能になりました。概念的には、私たちはこれらの手法の能力にまだ追いついている途上であり、だからこそ解釈可能な機械学習への関心が非常に高まっているのです。
