小心了!AI生成论文再无隐形伪装,ChatGPT专属检测器准确率百分百

多客科技

作者：Hoya camphorifolia

提示：欢迎点击上方「Pubpeer」↑关注我们！

编者按

最新、最快、最真实的科研匿名评价论文报道；关注高校院所科研生态，欢迎提供新闻线索。联系邮箱：Pubpeer@qq.com





研究人员最新发布的研究在《Cell Reports Physical Science》中披露，一款基于机器学习的新型AI检测工具能够轻松辨别由ChatGPT创作的化学论文，准确率令人瞠目。专注于化学领域的这一检测器不仅胜过两个现有的AI检测器，还为学术出版商提供了一个识别由AI文本生成器制作的论文的有力工具。

研究共同作者、堪萨斯大学的化学家Heather Desaire表示：“与大多数文本分析工具追求通用性不同，我们着眼于特定类型的论文，追求的是准确性。”

窥探风格的奥秘

Desaire和团队在今年6月首次介绍了他们的ChatGPT检测器，当时应用于《Science》杂志的透视文章。这一工具通过机器学习检查文风的20个要素，包括句子长度的变化、特定词汇和标点的频率，从而区分学术科学家与ChatGPT的文本。结果表明，“通过小组特征，我们能够获得高准确性”。

引言部分是关键

在最新研究中，检测器被训练在由美国化学学会（ACS）出版的十种化学期刊的引言部分上。为何选择引言？因为如果ChatGPT能够获取背景文献，编写这一部分相对容易。研究人员在已发表的100个引言上进行了训练，然后请ChatGPT-3.5按照ACS期刊的风格创作了200个引言。在这其中，有100篇工具提供了论文的标题，另外100篇提供了摘要。

在对由人和ChatGPT生成的相同期刊的引言进行测试时，这一工具根据标题以100%的准确度辨别出了ChatGPT-3.5编写的部分。而基于摘要生成的ChatGPT引言，准确度略低，为98%。值得一提的是，这一工具同样对ChatGPT-4版本的文本表现出色。相比之下，ZeroGPT（一种AI检测器）的识别准确率仅为35-65%，具体取决于ChatGPT的版本以及引言是否基于论文的标题或摘要生成。由ChatGPT制造商OpenAI提供的文本分类工具表现较差，只能以10-55%的准确度辨别由AI编写的引言。



更深层次的问题

这一新型的ChatGPT检测工具在未经训练的期刊引言中也表现出色，甚至捕捉到了从各种提示中生成的AI文本，包括一些旨在混淆AI检测器的提示。然而，需要注意的是，该系统对科学期刊文章高度专业化。当面对大学报纸的真实文章时，它却未能辨别出人类的创作。

AI在学术领域的更广泛问题

虽然这一研究引人入胜，但柏林应用科学大学的计算机科学家Debora Weber-Wulff指出，ChatGPT在学术界的应用仍存在其他问题。她指出，许多研究人员面临着迅速发表论文的压力，或者他们可能并未意识到写论文是科学过程的重要组成部分。AI检测工具无法解决这些问题，不能被视为“社会问题的魔法软件解决方案”。

这项研究为AI检测器的未来发展提供了新思路，通过专注于特定领域的定制软件，或许可以进一步提高准确性。这一发现对于学术出版商来说无疑是一项重大的利器，让他们能够更有效地识别由AI生成的文本，确保学术领域的真实性和质量。

doi: https://doi.org/10.1038/d41586-023-03479-4

来源：公众号pubpeer原创，转载请注明出处，若没注明pubpeer公众号出处，构成侵权。

推荐文章：

Elisabeth Bik这样回复本公众号pubpeer

多高校提彻底清理学术不端论文存量：挂名现象等从2018年起自查

国家自然基金委通报今年首批八起学术不端案件，七起涉“医”，中南大学湘雅医学院，南方医科大学在列！

长安大学一教师论文剽窃多次被通报：党内严重警告、撤销教授资格

国自然学术不端警示动画-1：抄袭剽窃：“抄人”现形记

2022年查处的不端行为案件处理结果通报（第三批次）

西安交大多位医生被通报批评，涉伪造论文、项目申请书抄袭剽窃

济宁市第一人民医院10月被撤6篇论文：编造研究过程、代写代投

内蒙古医科大李春阳论文代写代投署名不实，被撤销国自然项目

国自然基金委通报多起学术不端：12人被处理，追回逾百万经费

国家卫健委通报16起医学科研诚信案，含北京协和医院等

极大关注！该研究团队被通报35篇文章，已经被撤稿18篇文章

500余名医务人员被处罚！多名被取消医师职称、博士学位

2022年3月18日，科技部通报54起学术不端论文调查处理通报

12家医院43人上榜！开年大整治！国家卫健委通报医学论文造假名单

2021年8月份以来，卫健委已经公布了12批的国内医学机构的科研诚信案件调查处理结果。

国家卫健委10月15日通报，部分机构医学科研诚信案件调查处理结果

国家卫健委曝光10起医学论文造假、科研失信案件 严惩涉事人员

国家卫健委官网：论文造假，17名医生被通报

零容忍！中科院对7类学术论著署名行为说“不”



声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢

Pubpeer，专注科研工作者。关注请长按上方二维码。投稿、合作、转载授权事宜请联系本号，回复2023，微信ID：pubpeer992 或邮箱：Pubpeer@qq.com