全球学术圈险被 ChatGPT 论文攻陷!知名出版商紧急撤稿,AI 插图笑翻网友
学术圈,已经抵御不住 LLM 的入侵了!
最近,世界知名出版集团爱思唯尔旗下的几篇论文接连被质疑。
比如下面这篇锂电池的论文,在「介绍」部分的第一句,就暴露了可疑的痕迹——
「当然可以,这里是您的主题可能需要的介绍」。
一开口就是老 ChatGPT 了。
如果真的是经过了严格的同行评审,会发生这种情况吗?
比如这篇讲肝损伤的论文,在总结时忽然有一大段亮了——
「总之,非常抱歉,由于我是人工智能语言模型,我无法获得实时信息或患者的具体数据 ……」
「我可以提供有关损伤一般信息,但是对于的具体病例,建议你去咨询一下专业医务人员 ……」
并且表示,官方目前正在调查被质疑的论文。
现在,GenAI 生产的垃圾已经迅速淹没了论文的审查过程,导致出版方的声誉急剧下降。
科学界的每个人都输了,除了 ChatGPT。
写论文的确可以使用 LLM
在爱思唯尔的官方规定中,的确允许作者在写论文时使用 AI。
当然,也有一定的原则,那就是 AI 的作用是提高作品的可读性和语言性,但不能取代关键的写作任务,比如给出科学结论、提供临床建议。
另外,如果是使用了 AI,作者就必须声明这一点。
如果作者在写作过程中使用人工智能和人工智能辅助技术,这些技术只能用于提高作品的可读性和语言性,而不能取代关键的写作任务,例如产生科学、教学或医学见解、得出科学结论或提供临床建议。应用该技术应该在人类的监督和控制下完成,所有工作都应仔细审查和编辑,因为人工智能可以产生听起来权威的输出,这些输出可能是不正确的、不完整的或有偏见的。作者对作品内容负有最终责任和义务。
作者应在其手稿中披露人工智能和人工智能辅助技术的使用,并在已发表的作品中出现声明。声明使用这些技术有助于作者、读者、审稿人、编辑和贡献者之间的透明度和信任,并有助于遵守相关工具或技术的使用条款。
其实,这个消息不是什么新鲜事了,用 ChatGPT 等 LLM 工具写论文的作者,可谓多如牛毛。
去年,大家都被这篇新闻刷屏了——
美国田纳西大学健康科学中心的一名放射科医生用 ChatGPT 狂写论文,4 个月直接肝出 16 篇,其中 5 篇甚至已经发表了!
对于这件事情,网友表示:
爱思唯尔的「Surfaces and Interfaces」没有同行评审流程,也没有编辑流程。它只是一个昂贵的预印本存储库,光收钱,不干活。
既然作者和审稿人都不干活,那不妨大家彼此都坦诚一些,不用演戏了,—— ChatGPT 自己写稿自己审吧。
「嘿,ChatGPT,你能帮我同行评审这篇论文吗?」
ChatGPT:「是的,看起来不错,你可以发布」
Chatgpt 认真审阅了稿件,表示:「是的,这篇论文的引言中有几个迹象表明它可能是由人工智能撰写的」,并给出了详尽的理由:
更好笑的是,如今 AI 不仅荣升论文作者,甚至还在很多论文中充当起插画师了!
前一阵,这篇名为「Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway」 论文中的一幅插图,让网友们笑翻了。
首先大鼠的坐姿就很奇怪,仿佛一只松鼠。
图中讲的是从大鼠睾丸中分离、纯化和培养精原干细胞的过程,然而大鼠的睾丸竟然有 4 对,硕大的阴茎比身体还大,培养皿中甚至还有一把汤匙?
有人发现,这张信号通路图也亮了。
这里还出现了乱码。
当然,至少作者承认了插图是由 Midjourney 生成的。
期刊表示:文章不符合本刊的编辑和科学严谨标准。
但是,如果用了 LLM 却不提前声明,除了等着论文作者犯低级错误「自爆」之外,有没有什么办法能检测出论文的「含模量」?
因为 LLM 生成论文最大的问题就是会瞎编引用。而网上很多通用的 LLM 检测工具,基本上都不靠谱。
所以如果审稿人或者教授只是简单的依赖通用 AI 检测工具来判断的话,大概率是会冤枉好人的。
但是,虽然通用的 AI 检测器不好使,如果针对某个专业领域的论文进行 AI 检测,可能是一条走得通的路。
此前,Nature 报导了堪萨斯大学的一个团队的研究成果,他们开发的学术 AI 检测系统,能有效分辨论文中是否含有 AI 生成的内容,准确率高达 98%!
团队的核心思路是,不追求制作一个通用的检测器,而只是针对某个具体领域的学术论文,来构建一个真正有用的 AI 内容检测器。
通过针对特定类型的写作文本定制检测软件,可能是通向开发出通用 AI 检测器的一个技术路径。
提取论文写作风格的 20 个关键特征,然后将这些特征数据输入 XGBoost 模型进行训练,从而就能区分人类文本和 AI 文本。
最后,得到的 AI 论文识别率高达 98%。
学生、老师纷纷用上 AI 神器,用魔法打败魔法
AI 泛滥的,可不止是学术圈。在学校里,各种 AI 工具的出现,也是把局面搅得一团糟。
现在,学生用 AI 写作业,老师用 AI 打分,就问这个过程中还有真人吗?
BBC 此前曾报道,两位青年记者采访自己的同学是否使用 AI 来帮自己写作业。
有位同学表示自己的地理作业要到 deadline 了,「我用 ChatGPT 写了整个演讲。但是当我被问到相关问题时,我不知道我在说什么」——挂了。
有同学表示自己使用 ChatGPT 来帮助自己理解问题,「当你做作业时,教室里没有老师,而 ChatGPT 就像一个老师。」
两位记者做了份匿名调查,结果显示,在 33 名学生中,有 31 人在学业中使用了人工智能,而 27 人认为学校应该教授如何使用人工智能。
——不过,也有些人承认用 AI 来作弊。
虽然 ChatGPT 给出的答案并不总是正确,但这并没有阻止大多数人使用它。
「你可以从 ChatGPT 之类的工具那里得到一个真正结构化的答案,然后用其他扩展研究来支持它。」
关于这个 24 小时在线的「老师」是否更好,大家仍在争论。
不过与此同时,处在另一阵营的老师们,「也看到了机会」。
自从 ChatGPT 面世以来,老师们就开始尝试用它来批改作业。
比如,编制课程计划、教学大纲,以及批改作业,检测是否用了 AI 辅助等其他作弊行为。
现在,美国的一些学校正式开始支持并鼓励使用这一做法。
老师先布置写作任务(比如「我的暑假经历」),学生们通过线上方式提交作业。
然后,老师将这些作业提交给 Writable,Writable 又将它们交给 ChatGPT 处理。
接着,ChatGPT 会向老师提出评论和建议,老师们再对这些建议进行修改,之后反馈给学生。
为了保护学生隐私,Writable 会将学生信息进行「词元化」处理,确保不会将任何能识别个人身份的信息提交给 AI 系统。
比较勤勉的老师会把 ChatGPT 仅仅作为辅助,但也可能会有老师直接把 AI 的建议不加修改地反馈给学生。
所以,在学校忙于拟定 AI 政策的同时,关于应如何划定使用界限的讨论也在持续。利用 ChatGPT 来批改论文,在学术上算不算诚实?这样做是不是对学生不公平?
教育科技公司认为,像 Writable 这类自动化工具的目的是为了给教师提供更多的自由时间和灵活性。
如果让 AI 来承担批改作业的繁重任务,那些时间紧张的教师就能有更多机会设计富有创意的课程并更好地了解自己的学生。
虽然一些家长对孩子作业上出现 AI 生成的评论表示非常不满,但并非人人都持反对态度。
根据一项民意调查,当被问及「K-12 学校是否应该使用 AI 评估学生的学业表现」时,有 45% 的家长表示支持。