大学の他の専門職集団と同様に、学術経済学者も非常に競争的であり、自らの成功を測定することに強い関心を持っている。いわば専門職内部の内向きな自己確認である。研究者は、自らの研究が学術界、より広い社会、そして専門職内での他者との相対的な地位にどの程度影響を与えているかを測定することに注力しており、一部には執着と言えるほどである。1 ランキングや成功の指標は、単なる集団内の競争以上の目的を果たしている。それらは、研究者の業績が他の研究者に、ひいては公の議論や公共政策にどの程度影響を与えるかを示すものである。課題は業績をどう比較するかであり、そのため個人と集団の業績について、合意された指標を持つことが特に重要である。
学術経済学者（およびその他の研究者）の多くは、自らと同業者の業績を論文数によって判断しており、特に権威が高いとされる雑誌への掲載が重視されている。理由は単純である。こうした業績の指標は、情報収集にほとんど労力を要さず、ほとんど思考も必要としないからである。経済学の一部の雑誌群は「Top Five」と通称されているが、論文が掲載された雑誌だけで質を判断するのは、質を評価する方法として極めて不十分である。2 少なくとも、雑誌が他の研究に与える影響、すなわち掲載論文が受ける被引用数は注目に値する。人気の高い森で木が倒れても、それを誰も聞いていなければ、意味があるのだろうか。
この選ばれた雑誌群の中でも、掲載論文には非常に大きなばらつきがある。2007年と2008年にこれらの雑誌に掲載された各論文を対象とすると、図1は、掲載時から2015年1月までにWeb of Scienceで計測された被引用数の分布を示している。3 論文の平均被引用数は50件であったが、中央値の論文は、その雑誌を読みうる研究者やその他の著者による被引用が35件にとどまっていた。さらに、被引用が100件を超えた論文は21%にすぎなかった。経済学のトップ誌の威信は、主に、掲載論文のうちごく一部が非常に広い注目を集めることに由来している。その他の論文も完全に無視されているわけではないが、その影響力は小さい。4
図1. 2007～08年のTop Five論文の、Web of Scienceによる被引用数の分布
他の雑誌に掲載された学術研究の多くは、最も権威のある媒体に掲載された研究を上回る影響力を持っている。経済学の出版における「食物連鎖」で次の段階に位置づけられる二つの一般経済学誌を取り上げると、図2は、これらの下位の媒体の論文が、もしTop Five誌のいずれかに掲載されていたとしたら、どの位置に来るかを示している。5 これらの論文の大半が上位誌の論文ほど注目されないのは確かだが、「下位」誌の中央値の被引用論文であっても、トップ誌の掲載論文の30%よりも多くの注目を集めている。学術的な成果は多様であるため、評価に当たっては個々の事例を考慮すべきであり、掲載先だけに基づいて研究を評価してはならない。
図2. 2007～08年のTop Five論文の被引用数分布における、Economic JournalおよびReview of Economics and Statisticsの論文の被引用数の百分位
経済学研究では共著がますます特徴的になっており、今日では学術論文の圧倒的多数が二人以上の著者を持ち、三人以上の著者を持つ論文も相当な割合を占めている（Hamermesh 2013を参照）。研究への個人の貢献を判断する際、潜在的な雇用主、学生、そして外部の人々は、通常は共同制作の成果である貢献をどのように評価できるだろうか。これは、評価の確立した上級研究者が、就職や昇進を求めているかもしれない若手共著者の貢献を誇張する動機を持つ場合には、特に当てはまる。
学術論文の事前の影響力を知る方法はないが、経済学論文が受けた事後の被引用数を、その著者数と関連づけることはできる。この学術的影響力の生産関数は、研究を生み出した研究者の数によって区分された研究が受ける平均的な注目度を示し、また追加の共著者一人あたりの学術的生産性を暗黙的に測定している。
図3は、2007年と2008年に「Top Five」誌に掲載された論文が受けた、その後のWeb of Science被引用数の平均を、著者数の関数として示している。追加の共著者は、確かに平均して追加の被引用をもたらすが、共著者を一人加えることによる学術的影響力への限界効果は、比例的な増加よりはるかに小さい。単著から二人の共著になると被引用はわずか20%程度しか増えず、一人から四人の著者になっても、論文の学術的影響力は2倍にもならない。追加共著者の限界生産性は、経済理論が示唆するとおり、共著者数が増えるにつれて逓減する。
図3. 著者数別に見た、2007～08年のTop Five論文のWeb of Science被引用数の平均
追加共著者の限界生産性が逓減することは、経済学者の成功を評価する際に、単に論文数を数えること、雑誌の質で調整した論文数を数えること、さらに（より望ましいとされる）個々の論文が受ける被引用数を数えることさえ、十分ではないことを示唆している。新たに発表された研究を判断する際には、測定された個々の著者の影響力の推定値を、おそらく著者数Nで割ること、少なくとも1より大きい何らかの数で割ることによって減じなければならない。結局のところ、掲載から長年が経ち、研究の最終的な学術的影響力がほぼ完全に明らかになったとき、貢献を著者数で割ることが、個人の貢献と成功を測る唯一の合理的な方法に思われる。
個々の経済学者の業績のばらつきも非常に大きい。米国で上位20位以内にランクされた学部に所属する、博士号取得から15年以上経ったエリートの上級研究者に限っても、スーパースター（すなわち、このグループの研究者のうち上位1%に入る研究者）の被引用数は、グループの中央値の研究者の14倍である。また、中央値の研究者の被引用数は、このエリートグループで被引用数により順位付けされた研究者のうち最下位十分位の研究者の6倍である。少数の個人が、このグループに向けられた圧倒的な注目の大部分を占めており、このグループが受ける被引用の半分を、これらの経済学者のうちの15%が占めている。スーパースター級の経済学者は少数おり、スターはより多く、惑星はさらに多いが、大多数は学術界の小惑星である。
個人の成功を評価することに加えて、経済研究者のグループ、すなわち個人が所属する学部の業績も評価している。これらの評価は、大学院進学を検討する学生、就職を求める若手研究者、そして経済問題の専門家を求める外部の人々にとって重要だからである。論文や被引用に基づき、平均値、中央値、あるいは機関における最優秀研究者の業績に着目する多様な指標は、驚くほど似通ったランキングを生み出す。ハーバード、プリンストン、シカゴ、スタンフォード、MIT、バークレーは、米国の経済学部の上位10位に一貫してランクされている。欧州のトップ経済学部は、これらの一般的な指標では、概してこのグループを大きく下回る順位となっている。6
ここでも、ばらつきに注意を払うこと、すなわち個々の教員の業績を考慮することは、要約統計量を見ることと少なくとも同じくらい重要である。6位から10位にランクされる経済学部の研究者のうち少なくとも25%は、1位から5位にランクされるいずれかの経済学部における中央値の被引用研究者を上回る業績を持っている。また、平均して第2の10のグループにランクされる学部の研究者は、トップ10にランクされる学部のうち少なくとも一つにおける中央値の被引用研究者を上回る業績を持つだろう。最上位のヨーロッパの経済学部についても同様である。エリート機関間では質の重なりが非常に大きく、学部を平均的な業績に基づいて評価すると、個人の業績の差異の大部分を見落としてしまう。
経済学者の業績を検討して得られる中心的なメッセージは、研究がどこに掲載されたか、あるいは研究者がどの機関に所属しているかといった要約的指標によって、個々の研究者の業績、すなわちそのキャリアや個々の研究への貢献をランク付けすることはできない、ということである。トップ校にも平凡な研究者はおり、ランクの低い学部にもスター研究者がいる。トップ誌は他の雑誌より最上級の学術研究をより多く掲載するが、ほとんど無視される研究も多く掲載している。経済学における成功を適切に評価するには、個々の成果に目を向ける必要があり、それらが構成する個々の結果を示す指標としては不十分な集計値に目を向けるべきではない。
著者注：本コラムは、NBER Working Paper No. 21754「Citations in Economics: Measurement, Uses and Impacts」に基づいている。
参考文献
Cartter, A. (1966), An Assessment of Quality in Graduate Education, Washington, DC: American Council for Education.
Davis, P. and G. Papanek (1984), “Faculty Ratings of Major Economics Departments by Citations”,American Economic Review 74, pp. 225-250.
Dusansky, R. and C. Vernon (1998), “Rankings of U.S. Economics Departments”, Journal of Economic Perspectives 12, pp. 157-170.
Ellison, G. (2013), “How Does the Market Use Citation Data? The Hirsch Index in Economics”,American Economic Journal: Applied Economics 5, pp. 63-90.
Hamermesh, D. (2013), “Six Decades of Top Economics Publishing”, Journal of Economic Literature 51, pp. 162-172.
注
[1] 個人および経済学者グループのランキングは40年以上にわたり数多く作成されており、その一部の例としてDavis and Papanek (1984)、Dusansky and Vernon (1998)、Ellison (2013)が挙げられる。
[2] これらは、American Economic Review、Econometrica、Journal of Political Economy、Quarterly Journal of Economics、Review of Economic Studiesである。
[3] 本稿におけるこれらの結果およびそれ以降の結果は、学術論文の被引用に関するもう一つの主要な情報源であるGoogle Scholarを用いても、本質的に変わらない。
[4] より長期的な視点を取り、1974年と1975年にこれらの雑誌に掲載された論文の、その後の被引用を調べた場合も、同じ結論が得られる。
[5] これらは、Economic JournalおよびReview of Economics and Statisticsである。
[6] これら6校は、米国の経済学プログラムに関する最初の包括的なランキングである1964年のランキングで上位7位以内に入っていた。Cartter (1966)を参照。
掲載は、世界経済フォーラムによる見解の支持を意味するものではない。
The Agenda の最新情報を追うには 週刊ニュースレターにご登録ください。
著者：Daniel S. Hamermeshは、ロンドン大学ロイヤル・ホロウェイ校の経済学教授であり、テキサス大学オースティン校のSue Killam Professor Emeritus（名誉教授）である。
画像：シンガポールの中心業務地区で、建物の前を通り過ぎる男性。REUTERS/Nicky Loh.
