えーと、長い間更新が途絶えていたせいで、前回書いた内容を結構忘れていて、ただ雑に書き留めていたものがあるので、それに書き加えながら思い出していきます。
あ、それから日本でお会いした方の何人かからこのブログに関するコメントを頂きました。簡単にまとめると、
・長い
・回りくどい
・何を言っているのかわからない
・予防線を張りすぎ
といった有難いお言葉でした。すみません。次回から気を付けます。
さて、前回経営学研究は新しい理論を生み出すこと、あるいは“直観に反する”、“面白い”理論や事象を追究することに傾倒しすぎている、という話をしました。そして、それとは対照的な、理論や観察結果の頑健性や再現性などを検証していくような“地味”な科学をもっと重視すべきではないかということを述べました。
例えば、実証結果がどの程度様々なセッティングのもとで成り立つものなのかを俯瞰的に検証する方法として、meta-analysisというものがあります。これは同一のトピックに関して蓄積されてきた実証研究の結果を寄せ集めて、全体としてどういう関係性があるのかを確かめる手法です。そして、このmeta-analysisを可能にするためには、同じようなセッティングでの再検証、つまりreplication studyが必要になります。あくまで僕の所感ですが、心理学ベースの経営学研究では、かなりreplicationの文化が根付いている、あるいは少なくとも追求しようとしている感じがします。心理学ベースの経営学研究の多くは方法論として実験やサーベイを用いることもあり、概念の定義や操作化に関わる構成概念の妥当性や、結果の蓋然性にかかわる外的妥当性がとりわけ重要な論点になりやすいです。とりわけ後者の外的妥当性に関しては、このreplicationが大きな役割を果たします。
他方で、こういったexperimental studyとは対照的なobservational studyの世界では、replicationの文化が根付いているとはあまり言えなさそうです（ただ、最近ではこれを重視しようという流れができてきているのも事実です）。もちろん全ての論文は、論拠となる過去の文献を引用していますが、ほとんどの場合全く同じ事象の再検証ではなく、あくまで既存の枠組みで説明しきれない“付け足し”的な部分を見つけることを目的としています。
例えば、Strategyの分野で有名な概念の一つに、”dynamic capability”というのがあります。Dynamic capabilityを提唱したDavid Teeceは、1997年のSMJの論文で、Dynamic capabilityには①Process、②Position、③Pathという三つの次元があるということを述べています。しかし、Teeceの1997年の論文を引用したこれ以降の論文のなかで、Dynamic capabilityの三つの次元に言及している論文はわずか18%だそうです（Oxley, 2010, Strategic Organization）。つまり、研究者の間で広く受け入れられ、何千回も引用されているような概念だからといって、それが厳密に何を指しているかが明確で（つまり、何がDynamic capabilityで何がそうじゃないか）、皆が同じ共通認識のもとでその概念についての蓄積的な研究を行っている保証はどこにもないのです。
これはある種、しょうがないといえばしょうがないことです。というのも、replicationを可能にするために不可欠な、概念の厳密な定義づけを行えば行うほど、それは個別事象の文脈に大きく依拠した概念にならざるを得ません。結果として、説明可能な事象が極端に狭いということになり、概念あるいは理論としてほとんど成立しえなくなります。
したがって社会科学では、概念はある程度“曖昧”にせざるを得ません。そもそも概念（ないし理論）とは、個別具体的な事象をある段階にまで抽象化させて表現したものであるがゆえに、これは当然の帰結です。また、それ以前に、言葉の限界というのもあります。複雑な社会現象を正確に、事細かに記述することは、人間の能力的にも、論文の紙幅の限界的にも難しいことです。したがって、多少の違いには目をつぶって、大まかな共通項だけを取り出して、“理論”っぽく仕立てるということをせざるを得ません。しかし、そうやってより多くの現象を巻き込みうる理論にすることが、その後の追試の可能性を狭めているのもまた事実だと思います。
さて、話が込み入ってきたので、結局結論を出さないままこういう類の話は終わりにしますが、ここで一つ僕が秋学期に経験したことについて述べます。
秋学期にはOrganization Behaviorの方法論の授業と、Strategic Managementの方法論の授業を受けました。OBはどちらかという心理学ベースであり、SMは経済学ないし社会学がベースになっています。僕が少し驚いたのは、どちらの授業でも、最終課題がある論文のreplication studyだったということです。先生が指定した論文を皆で読み込み、その論文が用いたものと全く同じデータ、メソッドを使って結果を再現する、というものです。OBの方は実験研究だったので、全く経験のない実験をイチからやるという経験もしました。これはなかなか面白かったです。
それで、結論としては、どちらの課題でも結果を正確に再現することはできなかったのです。同じデータ（実験の方は同じデータではなく、同じ方法で取り直した新しいデータですが）、同じメソッドを忠実に再現したにもかかわらず、です。また、同じデータを駆使し、論文に掲載されていないその他の手法を試してみると（例えば回帰のモデルを変えてみる）、全く異なる結果が出てくるということも確認しました。
ちなみに、それぞれreplicationとして課された論文は、どちらも経営学者の間ではだれもが知るトップジャーナルに載っていたものです。おそらく、先生方がこの課題を通して伝えたかった（と僕が推測した）のは、以下のようなことです。
・トップジャーナルに載る論文が、どういう手順で論点を組み立てているかということ
・社会科学における再現性（結果の頑健性）の担保がいかに難しいかということ
・トップジャーナルの論文だからといって、結果の信用性があるとは限らないこと
・正確なreplicationのために、データ処理の手法を事細かに記載する必要があること
・pseudo-scienceにならないよういかに配慮できるかに、研究者の倫理、知識、経験が試されること
結果はともあれ、この課題は僕にとって非常に勉強になることが多いものでした。一つ目の点は、追試を行う中で、自分の考えではなく、他人の考えに沿ってデータを動かしていくので、著者の思考経路をトレースするような感覚を味わうことができました。二つ目以降の点は先にも述べた通り、とはいえreplicationを可能にするような分析設計がいかに難しいか、ということです。でも、だからといって、こういった試みは不毛だといって排除しているようでは、それこそpseudo-scienceになってしまいます。Replication studyは経営学を”科学”として成り立たせるために重要な要件になるのではないかと思います。と同時に、経験則ですが、これは大学院生の教育的にも非常に良いのではないかと思いました。手本としても批判材料としても、実際に同じ分析を手を動かしてやってみるのは、色々な発見があると思います。
さて、とりあえずこの話はこんなところでやめにしておきます。ちょっと話飽きたので。今週からはいよいよ春学期です。今学期の授業は5コマ（7ターム分）あり、どれも面白そうなものばかりなので、楽しみです。ある程度どんな授業がわかったら、それについてもまた書きたいと思います。それでは、また。
