マクロ経済モデルは、実証的な正確性に乏しいという評判がある。マクロ経済学は、利用可能なデータが乏しいなかで主観的かつ検証不能だとして、広く批判されてきた（例：Hansen and Heckman 1996）。そのためマクロ経済学者は、自らの信念に基づく高度に抽象的な動学的確率的一般均衡（DSGE）モデルを構築し、パラメーターを較正して与えるか、あるいはベイズ法で推定するが、この方法ではデータにそうした信念を反映させる。さらに、様式化された事実とモデル・シミュレーションを比較する広く用いられている手法は、適切な統計分布に基づいていない。
したがって、データを用いてマクロ経済モデルを検証する有効な方法が模索されてきたのは、驚くことではない。その一つが「標本外予測」（OSF）検定である。近年、この方法でDSGEモデルの検証に多くの労力を注いできた経済学者の一人が、複数の共著者と研究するRefet Gürkaynakである（Edge and Gürkaynak, 2010, Gürkaynak et al. 2013）。彼の方法は、さまざまな非制約時系列モデルを設定し、DSGEモデルがそれらより良い、または悪い予測をできるかを確かめるというものだ。予測効率は、データに適切に定式化された制約を課すことで改善する、という考え方である。したがって、他を上回るDSGEモデルには、そうした制約をもたらす優れた理論が備わっているはずだ。Gürkaynakと共著者たちの研究結果はまちまちだった。一部の局面では、一部のモデルが一部の時系列モデルより良い成績を上げ、別の局面では劣った。いずれの局面も期間が限られており、標本も小さい。
新たな証拠
最近の研究で、Yongdeng Xu、Peng Zhou、そして私たちは、こう問うた。これらの検定はDSGEモデルの質について何を示すのか（Minford[RB1] et al. 2014）。政策立案者などの利用者にとって、モデルの二つの特性が重要である。
モデルの仕様はどれほど優れているか（政策変更の影響を判断するうえで重要）？
モデルはどれほどうまく予測するか（広く求められている予測に関わる）？
この問いに答えるため、広く用いられているDSGEモデルであるSmets and Wouters（2007）モデル（Christiano et al. 2005に基づく）を使い、モンテカルロ実験を行う。この実験では、米国のデータから導いたいくつかの誤差過程を伴うこのモデルが正しいと仮定し、これを用いて、これらの検定で使われる規模のデータ標本を多数生成する。次に、偽りの度合いを段階的に高めたモデルが、これらのデータ標本に対する予測検定で、非制約時系列モデルと比べてどのような成績を上げるかを調べる。ここでは最も一般的なVARを用いる。OSF検定が、モデルに優れた仕様（つまり、誤りが大きすぎないこと）と、系統的に優れた予測性能の両方があるかどうかを、どのように見分けるのかを知りたい。
ただし、このような実験では、別のモデルを仮定すれば結論が異なる可能性が常にある。これは今後の研究課題である。しかし、こうした演習で用いられるDSGEモデルはほぼすべてSmets and Wouters型の構造であるため、これまでに実施されたOSF検定の大部分について、誤解を招く結果にはならないはずだ。
モデルの仕様に関するOSF検定
表1は、仕様の不備を見分けるOSF検定の能力について、私たちが得た結果を要約している。
この表は、モデルの誤りの度合いがx%に高まるにつれ、検定が95%の信頼度でモデルを棄却する頻度を示している。これは、モデルの誤仕様が大きくなる場合の検定力を表す。
誤りを生じさせるため、モデルのパラメーターをすべて、交互に+/-x%変更する。
検定はGDP成長率、インフレ率、金利について実施する。
関係するのは、3つを合わせた同時パフォーマンスを示す最後の2列である。予測期間は2種類で、4四半期先（4Q）と8四半期先（8Q）だ。8Qの検定力は極めて弱いため、主に4Qに注目する。4Qでも検定力は低く、誤りの度合いが10%に達して初めて、棄却率が3分の1を上回る。
表1．OSF検定の検定力
GDP成長率 インフレ率 金利 3変数の同時検定
誤りの割合（%） 4Q 8Q 誤りの割合（%） 4Q 8Q 誤りの割合（%） 4Q 8Q 誤りの割合（%） 4Q 8Q
正しい 5.0 5.0 正しい 5.0 5.0 正しい 5.0 5.0 正しい 5.0 5.0
1 10.2 5.0 1 5.8 4.7 1 4.7 4.8 1 6.0 4.9
3 23.2 5.0 3 7.9 4.8 3 6.5 4.2 3 9.4 5.2
5 34.9 5.2 5 13.4 5.1 5 11.5 4.2 5 15.3 6.0
7 42.5 5.1 7 21.3 6.9 7 18.9 5.4 7 22.9 6
10 52.3 5.5 10 35.6 10.7 10 30.3 6.5 10 36.2 9.8
15 58.0 11.0 15 62.7 23.7 15 48.9 11.9 15 73.8 29.5
20 49.9 60.5 20 97.8 72.4 20 62.7 21.3 20 99.8 90.7
この結果から、OSF検定では、悪いモデルを確実に見分けられないことが分かる。仕様を検証する検定としては弱い。これを示すため、表2では、その検定力を、Le et al.（2014）が非常に有効だと示した標本内の間接推論検定と並べている。この検定は、誤仕様がわずか3%に達した時点で、半数を超える確率で棄却する。この検定はモデルのシミュレーションに基づき、一定の統計的信頼度のもとで、シミュレーション・データの挙動が標本中の実データと同じかどうかを問う。
表2．棄却率：3変数に対する間接推論および尤度比
3変数の同時検定
誤仕様の割合（%） 間接推論 4Q 8Q
正しい 5.0 5.0 5.0
1 19.8 6.0 4.9
3 52.1 9.4 5.2
5 87.3 15.3 6.0
7 99.4 22.9 6.6
10 100.0 36.2 9.8
15 100.0 73.8 29.5
20 100.0 99.8 90.7
OSF検定の検定力がこれほど弱いのはなぜだろうか。予測においてDSGEモデルは当てはめた誤差を使う。モデルに誤仕様があると、それによって誤差が大きくなり、モデルの誤仕様を吸収する。こうした新たな誤差が将来に投影され、誤ったパラメーターによる性能低下をある程度補う可能性がある。別の言い方をすれば、DSGEモデルがより大きな誤差を生み、構造モデル本体からの相対的な入力を減らすにつれて、こうした大きな誤差は非制約VARの性質を一部帯びるようになる。これに対し、間接推論では、誤った誤差によって、実データと同じデータ特性を生成するモデルの能力不足が積み重なる。
モデルの予測能力に関するOSF検定
OSF検定の検定力が弱いということは、モデルにかなりの誤りがあっても、なお十分な予測ができることを意味する。こうしたモデルは時系列モデルより優れた予測をするため、検定に「合格」する。私たちは、DSGEモデルが時系列モデルと同じ程度の予測をし、それを上回らなくなる誤りの臨界水準を見いだした。このモデルの4Q予測期間では7%だった。あるモデルMの予測能力だけに関心がある利用者は、モデルMの誤りの度合いがこの閾値を上回るか下回るかを知りたいだろう。
これを統計的に明らかにする方法は2つある。OSF検定を使い、OSF検定における左側または右側の裾でモデルMが棄却されるかを調べればよい（Diebold and Mariano 1995による）。モデルMの予測性能が左側の裾に位置する場合、モデルMの予測が偶然に優れているという仮説を確信をもって棄却できる。右側の裾に位置する場合、モデルMの予測は偶然に劣っていることになる。
表3は、この2つの裾検定の検定力を示す。右側の裾の検定には一定の検定力がある一方、左側の裾の検定力は非常に弱いことが分かる。したがって、時系列モデルより大幅に劣る予測をする誤ったモデルは、この検定で明確に見分けられる。ただし、それには少なくとも15～20%の誤りがあるほど、かなりひどいモデルでなければならない点に注意したい。一方、モデルが時系列モデルより系統的に優れた予測をすると確信するのは難しい。誤りの度合いが7%以下のすべてのモデルの予測性能が非常に似ているためだ。これにより、DSGEモデルが時系列モデルより優れているのか劣っているのか、確実に判断するのは難しいというGürkaynak et al.の知見が説明できる。
表3．左側の裾および右側の裾に対するOSF検定の検定力
3変数同時検定－右側の裾 3変数同時検定－左側の裾
誤りの割合（%） 4Q 誤りの割合（%） 4Q
正しい 正しい 16.7
1 1 14.2
3 3 9.8
5 5 7.2
7 5.0 7 5.0
10 11.3 10
15 46.8 15
20 99.5 20
ただし、間接推論検定を使ってモデルMの誤りの度合いを確かめるのであれば、この問いには明快な解決策がある。表2に戻ろう。誤りが7%あるモデルに対して、間接推論検定の検定力は99.4%である。したがって、政策立案者がこの検定で棄却されないDSGEモデルを見つけられれば、そのモデルは少なくとも時系列モデルと同程度に予測できると、全面的な確信を持てる。このようなモデルは、政策評価においても信頼できるだろう。
結論
DSGEモデルの質、すなわち仕様と予測能力を確かめるため、OSF検定がますます用いられている。Minford et al.（2014）では、共著者たちと私は、広く用いられるモデルを使ったモンテカルロ実験により、OSF検定で何を確信をもって明らかにできるかを評価した。これらの検定では、かなり深刻な誤りのあるモデルを相互に、また正しいモデルと確実に区別できないことが分かった（誤仕様に対する検定力が弱い）。予測能力についても、良いモデルも悪いモデルも、時系列モデルと同程度の性能を示すモデルから確実に区別できない。つまり、予測成績が良いモデルにも悪いモデルにも、検定力はかなり弱い。これが、DSGEモデルと時系列モデルの予測比較で結果がまちまちになる理由である。しかし、利用者がDSGEモデルを標本内の間接推論検定にかける意思があれば、モデルの仕様の質と予測能力の双方を確実に明らかにできる。
参考文献
Christiano, L J, M Eichenbaum, C L Evans（2005）「名目硬直性と金融政策ショックの動学的効果」Journal of Political Economy 113(1): 1–45.
Diebold, F X and R S Mariano（1995）「予測精度の比較」Journal of Business and Economic Statistics 13: 253–263.
Edge, R M and R S Gürkaynak（2010）「推定DSGEモデルの予測は中央銀行関係者にとってどれほど有用か？」Brookings Papers on Economic Activity 41(2): 209–259.
Gürkaynak, R S, B Kisacikoglu, and B Rossi（2013）「DSGEモデルはVARモデルよりも標本外予測の精度が高いか？」CEPR Discussion Paper 9576、7月。
Hansen, L P and J J Heckman（1996）「較正の実証的基礎」Journal of Economic Perspectives 10(1): 87–104.
Le, V P M, D Meenagh, P Minford, and M Wickens（2014）「間接推論その他の方法によるDSGEモデルの検証：いくつかのモンテカルロ実験」Cardiff Economics Working Paper E2012/15、2014年更新。
Minford, P, Y Xu and P Zhou（2014）「標本外予測検定はどれほど優れているか？」CEPR Discussion Paper 10239.
Smets, F and R Wouters（2007）「米国の景気循環におけるショックと摩擦：ベイズDSGEアプローチ」American Economic Review 97(3): 586–606.
本記事は、 VoxEUとの協力により掲載されています。掲載は、世界経済フォーラムが見解を支持することを意味しません。
フォーラム：アジェンダの最新情報を受け取るには、 週刊ニュースレターに登録してください。
著者：Patrick Minfordはカーディフ大学の経済学教授で、同大学のJulian Hodge Institute of Applied Macroeconomicsを所長として率いる。
画像：2007年2月14日、シンガポールの中心業務地区で、男性が建物の前を歩いている。REUTERS。
