あなたの心理学の知識はどれくらい信頼できるでしょうか?

いかなる研究も額面通りに信じないでください。一番良い態度は、「これは非常に興味深いことだから、まず覚えておいて、後で見てみよう」ということです。

何を見てるんですか？

研究がどのように行われているか、研究の進捗状況と全体像を確認すること。これこそが、質の高い大衆科学が提供しようと努めるべきものです。

著者：Xiang Ruiyang（アムステルダム自由大学心理学修士）

心理学に関するポピュラーサイエンスは、さまざまな書籍やメディアで、研究結果を紹介しながらよく目にすることがあるでしょう。

例えば、ある記事では、体を温めてお湯を多く飲むと対人関係が改善されると述べられています。これは、身体の温かさが対人関係の温かさを高め、冷たいコーヒーを持つよりも熱いコーヒーを持つ方が見知らぬ人に対してより肯定的な評価を抱くようになるという研究結果があるためです。

別の記事では、アンケートを作成する際、署名をアンケートの最後ではなく最初に置くのが最善であると述べており、これは、調査により、回答者の回答の誠実さが増す可能性があることが示されているためです。

モーツァルトの音楽を聴くと認知能力が向上するという研究結果があることから、子供にモーツァルトの音楽をもっと頻繁に聴かせ、さらには妊娠中から出生前教育として聴かせるべきだとする記事もある。

…

図 1. 数十年にわたってベストセラーとなっているビジネスおよびマネジメントの本「影響力」は、多くの人々にとって社会心理学の啓蒙書です。

私たちは常にこうした研究結果を信じる傾向があり、もし望むなら、それを積極的に生活に応用するでしょう。結局のところ、心理学は科学ではないのでしょうか?研究者は専門家ではないのですか？これらの研究はすべて査読され、国際的に有名な学術雑誌に掲載されているのではないですか?

しかし近年、心理学、あるいはもっと広い意味での社会科学の研究は再現できないことが多いと研究者たちはますます気づいている。つまり、今ここにいる人々に見られるいくつかの現象は、その時その場所の人々には消えてしまうのです。再現性は科学の重要な特徴です。これらの再現不可能な現象は、実際の科学的効果ではありません。

再現不可能な研究が孤立したケースであれば、それは大した問題ではありません。残念なことに、2015 年に行われた大規模な複製研究では、心理学研究の 40% 未満しか正常に複製できなかったことが判明しました。 [1] 半数以上の研究で結果が信頼できないことが判明した。これは、過去 10 年間心理学界で広く議論されてきた「再現性の危機」です。

再現性の危機

再現性は、2011 年頃に初めて心理学研究者の注目を集めました。今年、心理学の分野で 2 つの大きな出来事がありました。

有名なオランダの社会心理学者ディーデリック・シュターペルがデータを改ざんしていたことが判明した。彼の「有名な」発見はすべて誤りであり、発表された論文のうち58本は撤回された。
アメリカの有名な社会心理学者ダリル・ベムは、生涯の大半を名声を享受した後、73歳で、第六感（未来を予測する）としても知られる超感覚知覚に関する一連の実証研究を、トップの社会心理学誌「人格と社会心理学ジャーナル」（JPSP）に発表した。彼は超感覚知覚現象の存在を説明するために 9 つの実験を報告しました。 [2]
JPSP の編集者と査読者は、ベムの研究が当時の心理学界の研究方法の要件をすべて満たしていると信じていましたが、彼の研究結果は疑似科学と見なされた非常に物議を醸す命題に関連していました。

この研究は発表されるとすぐに、激しい議論を巻き起こした。批評家たちはベムの実験を繰り返したが、有意な結果を再現することができず、この失敗した再現研究も 1 年後に JPSP に掲載されました。 [3]

一流の心理学雑誌が承認した研究方法がこのような物議を醸す結果を生み出す可能性があるのであれば、他の出版された研究も信頼できない可能性があるのでしょうか?それ以来、心理学界は徐々に研究の実践を振り返るようになり、ますます多くの研究者が再現研究を実施するようになりました。

最も代表的なのは、バージニア大学の心理学者ブライアン・ノセック氏が率いるオープンサイエンスコラボレーションです。 2015 年、オープン サイエンス コラボレーションは初の大規模な複製研究を実施し、3 大心理学ジャーナルである Personality and Social Psychology (JPSP)、Journal of Experimental Psychology (JEP)、Psychological Science (PS) に掲載された 100 件の研究を複製しました。研究のわずか 36% のみが再現に成功したことが判明しました。

繰り返しますが、トップクラスの心理学ジャーナルに掲載された研究のうち、再現に成功しているのはわずか 3 分の 1 程度です。社会心理学は特に大きな打撃を受けており、一般的にもっと「ハードコア」であると考えられている認知心理学の研究の再現率はわずか50％程度にとどまっている。

図 2. トップ心理学ジャーナルの記事の再現性。 （出典 |
nobaproject.com/modules/the-replication-crisis-in-psychology)

繰り返し成功に失敗するとはどういう意味ですか?

研究の再現に失敗したからといって、必ずしも効果が存在しないというわけではないことに注意することが重要です。

研究の複製が失敗する理由は 4 つ考えられます。

1. 元の研究に問題があり、研究者がデータを改ざんするなどして改ざんしている。

2. 元の研究の結果は偶然の一致です。最も一般的な状況は、元の研究の被験者数が少なすぎる場合であり、これは小さなサンプルを抽出することと同じです。母集団を代表しない偶然の標本を抽出するのは簡単です。

3. 元の研究から得られた結果は真実ですが、その研究にその時点と場所で参加した被験者のグループにのみ適用され、繰り返される研究の被験者のグループには適用されません。

4. 元の研究で得られた結果は真実であり、実験プロセスが元の研究を完全に再現できなかったなどの問題が繰り返し研究には存在します。

最初の 3 つの理由により複製が失敗した場合、元の研究の結果が信頼できないことを示している可能性があります。

4 番目の状況は確かに起こり得るため、1 回の繰り返し調査だけでは問題を説明するのに十分ではない可能性があります。研究の結果は繰り返し検証する必要がある。しかし、4 番目の状況はそれほど頻繁に発生するものではなく、これは心理学の研究結果の多くが実際には信頼できないことを意味します。

では心理学は信頼できないのでしょうか?

これほど再現率が低いということは、心理学が科学として失敗したことを意味するのでしょうか?

実際、科学の世界では再現の失敗はよくあることです。有名な例としては、1989 年の常温核融合の謎があります。2 人の科学者が常温での持続的な核融合を達成したと主張しましたが、他の科学者は彼らの研究を再現できませんでした。この刺激的で重要な発見は科学の殿堂入りすることができず、今日まで議論が続いています。

医療分野、特に遺伝子と疾患の関連性においては、複製の失敗が深刻な問題となっています。遺伝子と疾患の関連性に関する発見のうち、再現に成功したのはわずか約 4% です。かつて研究者たちはうつ病に関連する遺伝子が存在すると一般的に信じていましたが、2019年にコロラド大学の研究者がビッグデータ研究を実施し、いわゆる「うつ病遺伝子」を裏付けるデータは見つかりませんでした。 20年以上にわたる何千もの研究が突然その根拠を失ってしまった。 [4]

再現性危機の発生は、心理学と社会科学がハードサイエンスへの道を歩んでいることを正確に示していますが、この分野には解決すべき問題がいくつかあります。

問題は実は非常に単純です。ジャーナルは独自の研究の出版を奨励し、重複した研究の出版を奨励しません。したがって、ほとんどの研究は探索的なものです。研究者は、最初に現象を発見すると、それをすぐに発表し、その後、さらなるテストや再現を行わずに、この現象を実際の効果として扱います。誰もが新しい研究を発表し、新しい現象を発見しようと追い求めていますが、発表された結果の多くは偶然の結果であったり、特定のグループの人々にのみ適用されたり、あるいはデータを改ざんして得られたものであったりします。これらの存在しない効果に基づいて、その後の多数の新しい研究は、根拠のない空論と化しました。

問題を見つけたら解決してください。再現性危機は心理学を崩壊させることはなかったが、研究者らが研究方法を調整・改善し、反復研究を重視するようになり、学術誌は反復研究の出版を奨励し始めた。すると、心理学の教科書に載っているような古典的な研究さえもどんどん再現され、その多くがうまく再現できていないことが皆に分かりました。

最新のレプリケーション結果を追跡する

再現研究の数が増えるにつれて、心理学の教授や研究者であっても最新の再現結果をすべて追跡することが難しくなります。より多くの人々に再現研究の進歩を理解してもらうために、心理学者のグループがオープンで再現可能な研究トレーニングのフレームワーク (FORRT) を結成しました。彼らは何百もの心理的効果の再現をまとめました。まだ完成していませんが（2024年に完全に完成する予定です）、すでに十分な規模になっており、結果の概要はウェブサイト[5]で見ることができます。

図3. オープンで再現可能な研究トレーニングフレームワーク、ウェブサイトのホームページのスクリーンショット

FORRT は現在、社会心理学、ポジティブ心理学、認知心理学、発達心理学、マーケティング、神経科学など、心理学のさまざまな分野を網羅し、繰り返し研究によってテストされた 130 を超える心理的効果をリストしています。

FORRT は、各効果について、元の文献、批判的な文献 (複製研究、レビュー、メタ分析などを含む)、元の研究と複製研究の効果サイズをリストし、複製 (正常に複製された)、複製されなかった (正常に複製されず、一部は効果が逆転した)、または混合 (部分的な複製は成功したが、一部の複製は失敗した) のラベルを付けます。

なお、まだデータ収集段階であり、レビューが行われていないため、ウェブサイト上の効果の一部は誤ってラベル付けされていることに注意してください。ただし、記載されている文献を参照して独自の結論を導き出すことは可能です。

これら 130 を超える効果のうち、正常に再現されたのは 20 未満、40 以上は混合とマークされ、70 近くが正常に再現されませんでした。混合が部分的に成功した複製であると仮定すると、複製と混合の合計は 50% 未満となり、複製できない効果が実際に多数あることがわかります。

首席合格を繰り返す

まず、どの効果が「優秀な生徒」であり、再現済みとしてマークされているかを見てみましょう。よく知られているものは次のとおりです。

向社会的支出: 他人のためにお金を使うと、自分のためにお金を使うよりも幸福感が増します。

最小グループ効果: 被験者が意味のないグループ (コインを投げて表が出るグループや、青よりも赤を好むグループなど) に割り当てられると、被験者は自分のグループのメンバーも好むようになります。

ダニング・クルーガー効果: 特定の分野における知識や能力が限られている人は、自分の知識や能力を過大評価し、自信過剰になる傾向があります。しかし、広く流布している「無知の山」と「絶望の谷」の図は、ダニング＝クルーガー効果そのものに含まれるものではなく、綿密に調査されたものではないことに注意すべきである。

損失回避: 人々が同じ額の利益と損失に直面した場合、損失によってもたらされるマイナスの効用は、利益によってもたらされるプラスの効用よりも大きくなります。

露出効果: 同じものに繰り返し露出すると、人々はそれをより高く評価するようになります。

傍観者効果: 他の人がいると、責任が分散され、困っている人に手を差し伸べる人が少なくなります。

平均以上と平均以下の効果: 人々は自分を他人と比較するとき、より簡単な能力に関しては自分の立ち位置を過大評価し、より難しい能力に関しては自分の能力を過小評価する傾向があります。

有名な否定的な例

残念ながら、よく知られている効果の中には、うまく再現されていないものもあります。

ピグマリオン効果（ローゼンタール効果、期待効果とも呼ばれる）：ローゼンタールの 1966 年の研究では、研究者はランダムに数人の生徒を選択し、これらの生徒が IQ テストで最も成績が良く、潜在能力が最も高いと教師に伝えました。研究報告によると、教師たちは予測を知っていたため、これらの生徒を異なる方法で扱った結果、これらの生徒のIQが平均3.8上昇し、その効果は時間の経過とともにますます顕著になるだろうとのことだ。しかし、その後の研究では、教師の期待の影響は確かに存在するものの、ローゼンタールが報告したよりもはるかに小さく、その影響は一時的なものであり、時間の経過とともに蓄積されるものではないことが判明しました。

パワーポーズ: 2010 年の研究では、パワーポーズ (腰に手を当てるなど、体を伸ばして開いた姿勢) をとると、体内のテストステロン レベルが上昇し、コルチゾール レベルが低下し、自信と力強さが増すことがわかりました。この有名な具体化された認知効果は、うまく再現されていません。
顔のフィードバック: 1988 年の研究では、笑顔のポーズ (ペンを横向きに口にくわえるなど) は人を幸せな気分にさせ、ふくれっ面は人を落ち込ませる可能性があることがわかりました。この具体化された認知効果もうまく再現できませんでした。

自我の消耗: 1998 年の研究で、有名な心理学者ロイ・バウマイスターは、自制心は限られた資源であると提唱しました。思考、感情、行動を抑制すると自制心が失われます。このような抑制タスクを完了すると、被験者は自制心が枯渇し、その後のタスクの持続時間が短くなり、パフォーマンスが低下します。バウマイスターの物議を醸した発言（再現の失敗は再現を行う人々の無能さによる）により、この効果は何度もテストされ、最終的に、実験室で数分間続く枯渇タスクでは実際に人々を枯渇させることはできないことが判明しました。

無意識の思考の利点: 2006 年の研究では、多くの要素を考慮する必要がある複雑な決定を下す場合、考えすぎない方がより良い決定につながることが多いことがわかりました。この現象は複製研究では発生しませんでした。
この記事の冒頭で触れた 3 つの研究結果もあります。身体的な温かさは対人関係の温かさを高める、最初に手話を使うと回答の誠実さが高まる、そしてモーツァルト効果ですが、これらはすべて再現に成功していません。このうち、署名の位置に関する当初の研究は、データ改ざんにより撤回された。 [6]

さらに、私たちが常識として受け止めてきたいくつかの効果は、混在しているとマークされており、少なくともこれらの効果の重要性と影響は過大評価されていることを示しています。

成長マインドセット: 1995 年に著名な心理学者キャロル・ドウェック氏による研究で初めて提唱された成長マインドセット (能力は固定されたものではなく、向上できるという信念) は、人々がタスクをよりうまく遂行するのに役立ちます。教育分野では、成長マインドセットが学生がより良い成績を達成するのに役立つことが多くの研究で示されています。これをもとに書かれたベストセラー本「生涯成長」。しかし、繰り返し行われた研究では、一般的に成長マインドセットの影響はそれほど大きくないことが判明しています。

ナッジ: 2017 年のノーベル経済学賞を受賞したリチャード・セイラーは、2008 年の研究でナッジの概念を提唱しました。これは、直接的な教育、強制、罰ではなく、肯定的な強化と間接的な提案を通じて人々の行動と意思決定に影響を与えるというものです。有名な例は、オランダのアムステルダムにあるスキポール空港で、男性用小便器にハエを取り付けたというものだが、この取り組みは「小さな一歩前進」というスローガンよりもはるかに効果的だった。しかし、近年のメタ分析によりナッジ効果は疑問視されており、たとえナッジ効果が存在するとしてもその効果サイズは非常に小さい。

図 4. これら 2 つの効果は重要ではないかもしれませんが、それでもこれら 2 冊の本が役に立つ可能性があります。

同じ種類、異なる運命

興味深いことに、同じ分野には密接に関連した効果がいくつかあり、そのうちのいくつかはうまく再現されていますが、いくつかは再現されていません。

たとえば、「希少性効果」には、次のような一連の効果が含まれます。これらはすべて、限られた実際または想像上のリソース（富、時間など）を持つ人々が示す一連の傾向を指します。

時間割引: 収入が突然減少すると、人々は時間をかけて得られる高額の報酬よりも、すぐに得られる低額の報酬を好むようになります。

身体的苦痛: 経済的な不安は人々にさらなる身体的苦痛を感じさせる可能性があります。

過剰借入: お金が不足していると感じると、過剰借入につながる可能性があります。

物質的財の嗜好：貧しい人々は体験的財よりも物質的財を好む。

幸福: 都市で過ごす時間が終わりに近づいていることを想像すると、人々の幸福は増大します。

意識的な思考: 貧しい人々は裕福な人々よりも経済的な心配に関連した考えを多く持つ傾向があります。

競争/脅威: 小売業者の飢餓マーケティングにより、消費者は他の消費者を脅威的な競争相手として認識するようになります。
製品の使用における創造性: 資源の不足により、人々は製品をより創造的に使用するようになります。

選好の二極化: 希少性が認識されると、人々は選好の二極化を起こす可能性があります。つまり、ある選択肢をより強く好み、他の選択肢を拒否するのです。

…

マイケル・オドネルなどの研究者によって2021年に発表された20件の研究の大規模な複製に代表される複製研究では、上記の希少性効果のうち、1〜4件は正常に複製されたが、5〜9件は正常に複製されなかったことが判明しました。 [7]

相関関係が強い同じ分野の研究結果であっても、ある面では信頼できるが、他の面では信頼できない可能性があることがわかります。あらゆる研究結果を批判的に検討する必要があります。

私たちは心理学に対してどのような態度を持つべきでしょうか？

心理学の研究結果の多くは、うまく再現することができません。この現実を前にして私たちは何をすべきでしょうか？

私たちは心理学を使い古した靴のように捨て、二度と信じず、科学として考えるのをやめるべきなのでしょうか？

先に述べたように、再現性の危機は心理学を崩壊させたわけではない。研究者たちは積極的に研究方法を変えています。一方で、彼らは過去の研究の信頼性を確認するために、繰り返しの研究やメタ分析に注目しています。一方で、事前登録（研究者によるデータの操作を防ぐために、研究開始前に研究方法と予想される結果を詳細に登録すること）を奨励し、サンプルサイズを増やす（統計的検出力を向上させる）ことで、新しい研究の信頼性を向上させています。

しかし、学問全体​​がより厳密な科学へと移行するには時間がかかるだろう。現時点では、どの心理学的知識が信頼できるのか、どの知識が信頼できないのかを完全に確かめるのはまだ困難です。このような状況では、批判的に考える必要があります。

おそらく、単一の研究の結果は全体的には信頼できないと言えるでしょう。目を引くタイトルや目を輝かせる研究結果に対する最善の態度は、「とても興味深いので、まずは覚えておいて、後で見てみる」というものです。

研究結果を批判的に見るためには、まず研究についての基本的な理解が必要です。研究で、被験者に高齢者について考えるように依頼すると、被験者の動きが遅くなると述べられている場合、被験者がどのような人々であるか（おそらく、高齢者を差別する文化を持つアメリカの大学生）と、「被験者に高齢者について考えるように依頼する」ことで、被験者が高齢者についてどのように考えるようになるか（つまり、特定の研究方法）を理解する必要があります。そうして初めて、これらの主題に基づく結果が私たちに当てはまるかどうか、また研究における操作が実生活において参考値を持っているかどうかを判断できます。

さらに重要なのは、研究の進捗状況と全体像を把握することです。類似の研究や繰り返しの研究によってどのような結果が得られたのでしょうか。他の研究者はこの研究についてどう考えているのでしょうか? （例えば、上記の「高齢者について考える」研究は、うまく再現されていません。）

もちろん、上記の 2 つの点は、ポピュラーサイエンスライターに高い要求を課します。質の高いポピュラーサイエンスは、散発的な研究結果を伝えるだけではなく、研究の全体像を提示する必要があり、さらに良いのは、あるテーマに関する研究の進捗の全体像を提示することです。

ポピュラーサイエンスライターの仕事の仕方を変える必要があるかもしれない。読者を説得するために、ある視点を伝え、その視点を裏付ける研究を探すのではなく、あるテーマに関する研究の進捗状況と背景を整理し、最も裏付けのある視点をまとめるべきだ。

上記のすべては非常に深刻で疲れることのように聞こえます。厳密さは科学的態度の追求ですが、心理学のような主題の場合、多少の曖昧さを残すことができるかもしれません。

人間の本質や心は、本質的に極めて複雑です。私たちは心理学の客観的な法則を可能な限り明らかにしたいと考えていますが、単純な理論や表面的な効果ですべてを説明することを期待すべきではなく、またこれらの理論や効果がすべての人に当てはまると期待すべきではありません。心理学の限界を理解し、人間性の繊細さと複雑さを認めることはロマンチックなことかもしれません。

私の個人的な意見としては、できるだけ多くの心理学の知識や研究結果を批判的に学ぶべきだが、十分に厳密ではないと思われるベストセラーの本や科学論文について批判的にすべてを否定する必要はない、ということです。信じるかどうかは個人的な問題であり、信じればうまくいくこともあります。

参考文献

[1] オープンサイエンスコラボレーション。 （2015年）。心理学の再現性を推定する。サイエンス、349。

[2] ベム・DJ（2011）。未来を感じる：認知と感情に対する異常な遡及的影響の実験的証拠。人格と社会心理学ジャーナル、100(3)、407-425。

[3] Galak, J.、LeBoeuf, RA、Nelson, LD、および Simmons, JP (2012)。過去の修正: 超能力の複製の失敗。人格と社会心理学ジャーナル、103(6)、933-948。

[4] ボーダー、R.、ジョンソン、EC、エバンス、LM、スモレン、A.、バーリー、N.、サリバン、PF、ケラー、MC（2019）。複数の大規模サンプルにわたる大うつ病の過去の候補遺伝子または候補遺伝子と相互作用の仮説はサポートされていません。アメリカ精神医学ジャーナル、176(5)、376-387。

[5] https://forrt.org/reversals/

[6] Shuらの撤回、冒頭で署名すると倫理が強調され、最後に署名する場合と比較して不正な自己申告が減少する。 https://www.pnas.org/doi/10.1073/pnas.2115397118

[7] O'Donnell, M., Dev, AS, Antonoplis, S., Baum, SM, Benedetti, AH, Brown, ND, ... & Nelson, LD (2021).希少性の心理的影響に関する研究における実証的な監査とレビュー、および証拠価値の評価。米国科学アカデミー紀要、118(44)、e2103313118。

この記事は科学普及中国星空プロジェクトの支援を受けています

制作：中国科学技術協会科学普及部

制作：中国科学技術出版有限公司、北京中科星河文化メディア有限公司

特別なヒント

1. 「Fanpu」WeChatパブリックアカウントのメニューの下部にある「特集コラム」に移動して、さまざまなトピックに関する人気の科学記事シリーズを読んでください。

2. 「Fanpu」では月別に記事を検索する機能を提供しています。公式アカウントをフォローし、「1903」などの4桁の年+月を返信すると、2019年3月の記事インデックスなどが表示されます。

著作権に関する声明: 個人がこの記事を転送することは歓迎しますが、いかなる形式のメディアや組織も許可なくこの記事を転載または抜粋することは許可されていません。転載許可については、「Fanpu」WeChatパブリックアカウントの舞台裏までお問い合わせください。