哈佛大学组建了其所能召集的最优人类审稿团队，最终却被Claude全面超越。
同一批124篇论文，双方各自撰写一份评审意见。在七个评估维度上，人类未能赢得任何一项。
三位来自知名期刊的前编辑受邀进行盲选，30次选择中有26次倾向于Claude。其中一位编辑在10组意见中从未选择人类。
三位前编辑各对10组匿名意见进行比较，仅依据评审意见，未重新阅读论文。
就连学术界最为担忧的“AI虚构信息”问题，此次也出现了逆转。
研究者将意见与原文逐句核对后发现，人类专家出现错误的比率接近Claude的3倍。
这项研究由哈佛校级教授、定量社会科学研究所所长Gary King，以及该所数据科学主任Steven Worthington共同完成，其标题毫不客气地指出：AI评审已超越状态最佳的人类同行评审。
两人在论文中承认，研究开始前，他们仅期望AI能在某些方面、某些时候取得优势。结果，AI在他们所能想到的每一项指标上都占据了上风。
沃顿商学院教授Ethan Mollick在阅读后立即转发，敦促学术界尽快明确科学研究应如何跟随AI进行调整。
哈佛设立擂台，付费专家对阵联网Claude
既然要比较，就必须找到最强的人类对手。
期刊评审的弊端，从事过研究的人都深有体会。审稿人大多无报酬且时间紧迫，有人读到第3页发现一个硬伤后便不再继续阅读。
因此，King团队选择了哈佛定量社会科学研究所开发的“投稿前预审”服务rapidPeer，该服务后来也对其他机构开放。
该服务的审稿人由领域专家从外校选拔，每篇评审均有报酬，表现优秀者可持续获得任务。
他们需要通读整篇论文，撰写1.5至2页的意见，只协助作者改进论文，不判断是否应该发表。
效果也确实显著。74位作者回复了问卷，88%认为审稿质量高或非常高。
几位知名期刊的前编辑看过这些意见后，也表示这属于他们所见过的最高水准。
两位作者甚至写道，据他们所知，没有哪批人类审稿是在比这更好的条件下完成的。
研究使用了该服务2019年至2026年的所有有效投稿，共计124篇论文、134份人类意见，涵盖统计分析、数学建模到纯定性研究。
Claude方面，上场的是Opus 4.8版本，推理功能开启至最高档。
它以两个身份参赛。一个与人类完全对等，使用相同的13条审稿指南，不允许使用任何外部工具。
另一个是优化版，配备了专门撰写的审稿提示词，并可联网，平均每篇论文搜索12.4次。
这份提示词读起来像是一位严格导师的叮嘱。
它要求Claude通读全文和图表，主动搜索作者遗漏的先前研究。每篇引用都必须真实搜索到并附上链接，不允许凭记忆引用。
它还要求Claude区分哪些问题支撑着整篇论文，优先讲述最要紧的两三个问题，不得客套，也不得凑字数。
裁判是另一家公司的GPT-5.5。两份意见去除格式和出处后，调换顺序各比较一次，两次都选择同一份才算获胜。
除了整体比较，它还需在七个维度上逐项比较，并为每份意见打出0至10分的评分。
GPT-5.5担任裁判，Claude七局全胜
结果公布后，两位作者的评价是“毫不含糊”。
整体比较时，GPT-5.5从未判定人类获胜，所有分出胜负的对比均归属于Claude。
分解到七个维度，Claude在寻找弱点、评估方法、补充文献三项上取得全胜。图表方面获胜99%，理论与想法、论证框架、表达方面各获胜92%。
评分方面，Claude平均8.7分，人类6.0分。
差距最大的两项，恰恰是审稿时最耗费精力的两项。
补充文献方面，人类专家4.73分，联网的Claude为9.55分。不允许它联网时，它在这一项仅获胜62%，开启搜索后才变为全胜。
图表方面，人类平均仅2.95分，Claude为7.57分，不少意见对图表只字未提。
还有一个细节耐人寻味。三位前编辑彼此判断一致的比例为80%，而他们与GPT-5.5的一致率反而达到87%。
也就是说，人类编辑与这位AI裁判的看法，比与自己的同行还要一致。
给人类换上AI文风再比，照样一组没赢
如此悬殊的比分，第一反应往往是怀疑实验本身。
两位作者自己先充当了一次质疑者，一口气进行了十类稳健性检查。
第一个怀疑是AI凭借篇幅取胜。研究者只保留了字数相近的44组，Claude照样44组全胜。
接着有人会说，GPT-5.5偏爱AI的腔调。
于是研究者让Claude将134份人类意见全部改写成AI口吻，论点一个不动。换了腔调的人类意见，还是一组都没赢回来，平均分反倒从5.93分降到了5.87分。
也有人会说，人类样本中混入了水平一般的。
研究者就只看评分前40%的人类意见，再挑出与AI最接近的28组。人类依然一组没赢，分数最高的那份，也比AI低0.7分。
还有人担心，Claude训练时见过这些论文后来发表的版本。
可按投稿年份一拆，不联网的Claude在2022年及以前的老论文上获得8.2分，在2025至2026年的新稿上获得8.1分，几乎没有差别。
最后一个疑问是，只用一家模型、一种裁判，结论靠不住。
研究者干脆让Claude和GPT互当审稿人和裁判，比较了416次。不管谁当裁判，AI都获胜了九成以上，人类那份意见在五份里基本垫底。
拿原稿逐句对照，专家错误率是AI近3倍
意见写得漂亮，不等于写得正确。
GPT-5.5整体比较时只读了意见，未对照论文原文。因此研究者又专门核查了一遍这些意见的可靠性。
第一关是引用。联网的Claude在意见中引用了651篇带有DOI或arXiv编号的文献，研究者一篇篇拿去数据库比对。
651篇里，没有一篇是编造的。抽查引用的用法，能判断的100处里，99处都与所指出的问题相符。
更难的一关，是核对意见中对论文本身的描述。
这一轮比较的是不联网的Claude和人类。研究者将意见拆分成一句句具体说法，隐去出处，让模型拿着原稿逐条判断对错。
判断错误的标准很高，原稿中有直接反证才算错。例如，有审稿人批评论文“没做稳健性检验”，但第5节明明写着做了。
结果，人类专家的956次核查中，有152次被判错，占15.9%。Claude的1039次核查中只有57次，占5.5%。
按整份意见计算，64.2%的人类意见至少错了一处，Claude这边是37.1%。
判断错误的模型本身是否可靠，研究者也进行了验证。人工复核90条，87条结论一致，剩下3条分歧，全是模型冤枉了Claude。
他们还为这位核查员设置了陷阱，往审稿意见中塞入258句只改了几个词的反话。结果全被揪了出来，同样多的真话，一句没被误判。
这批专家有报酬、有口碑，还被要求通读全文，逐句对照原稿时，错误却比AI多。挡在AI审稿前面的那条最大理由，在这组数据面前已经站不太住了。
以后投论文，先让AI挑一遍刺
不管期刊是否允许，审稿人其实已经在使用AI了。
Nature报道过，超过一半的研究者在使用AI审稿，不少人还违反了相关规定。
ICML 2026进行过一次随机分组实验，被分到“禁用AI”组的受访审稿人中，仍有22.5%承认自己用了。
斯坦福大学政治学副教授徐轶青转发这篇论文时说，禁止审稿使用AI的期刊，都该重新想想自己的立场了。
因此，King和Worthington在论文后半部分，干脆讨论起期刊接下来该怎么办。
他们设想了一套新流程。期刊公开一份官方的AI审稿提示词，作者投稿前先用它把论文审几遍、改几遍。
投稿时，论文、AI意见和作者对每条意见的回应一起提交。编辑再换一套不公开的提示词复审，难判的稿子请编委或外部专家把关。
最后发不发，还是编辑说了算。
照这个流程走，两人认为，发表决定有望从几个月缩短到几天。
作者的回应信，是这套流程里不可或缺的一环。因为论文改到后面，AI会开始较真到离谱。
论文中举的例子是，AI可能会说“没错，2+2=4，但你从来没定义过+号”。这时候，作者得有地方据理力争。
风险两人也没回避。每个人用AI想点子，单看都更有新意，放在一起却越来越像，慢慢都往主流、保守的方向靠。
所以他们建议，期刊要一直追踪作者和AI意见不合的地方，不断调整提示词和模型。
一份认真的审稿意见，过去是科研里的稀缺品。要等上几个月，还得碰运气，看能不能遇上用心的审稿人。
如果AI能让它随叫随到，科学家就能更早听到批评，更快改出下一版。
至于哪篇论文配得上哪本期刊，两位作者认为，仍然只能由人类编辑来判断。
参考资料： https://gking.harvard.edu/peerless/ https://x.com/emollick/status/2113483068174692831 本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。