「査読前論文は信用できない」は本当か？7万件分析で判明した事実

本連載「Innovative Tech」は2019年にスタートし、世界中の最先端研究論文を独自視点で厳選・解説する。執筆は研究論文メディア「Seamless」を主宰し、日課として多数の論文に目を通す山下氏が担当。イラストや漫画は同メディア所属のアーティスト・おね氏が手掛ける。Xアカウント：＠shiropen2。

ウェスタン大学と南カリフォルニア大学に所属する研究者らが発表した論文「Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models」は、プレプリント（査読前論文）の信頼性を検証した研究報告だ。

査読前の論文を公開するプレプリントは、研究内容を迅速に無料共有できる利点がある。arXivやbioRxivなどの公開サイトでは日々膨大な件数が投稿されている。しかし、査読を経ていないため、その主張の信頼性を疑問視する声も一部に存在する。

研究チームは、2018年から2025年の間にbioRxivに投稿され、その後査読済み論文として出版された7万2644件の論文ペアを対象とした。大規模言語モデル（Claude Sonnet 4.6）を用いて内容の変化を追跡した。

分析の結果、査読によって論文の主要な主張が大きく覆るケースは稀であることが判明した。抄録における主要な主張の内容は、全体の39.9％で変化がなく、50.0％が軽微な修正にとどまった。大幅な修正が加えられたのはわずか10.2％であった。

表現の確信度合いについて調べたところ、全体の85.6％は査読前後で変化がなかった。変化があったものの中では、より慎重な表現になった割合が8.4％、より自信に満ちた表現になった割合が4.2％であり、査読を通じて論文の主張が2倍の割合で慎重なトーンへと修正されていることがわかる。

さらに、査読期間の長さやジャーナルの影響力と修正の度合いには関連が見られた。査読期間が最も短いグループでの大幅な修正の割合は7.0％だったのに対し、最も長いグループでは14.1％に上昇した。

また、プレプリントとして公開されたかどうかが、その後の論文撤回率に与える影響も調査された。その結果、プレプリントとして公開されたことのない論文は1万件あたり18.7件の割合で撤回されたのに対し、プレプリントとして公開された論文の撤回率は1万件あたり8.1件であった。つまり、プレプリントを経由しなかった論文は、経由した論文の約2倍の確率で撤回されていることになる。Copyright © ITmedia, Inc. All Rights Reserved.