花20分钟用AI写论文拿了A,为啥反作弊系统查不出来?
近日,Reddit论坛上一名大学一年级学生的课程论文拿了A——这并不稀奇,但事实上这篇论文是人工智能(AI)花不到20分钟完成的,还通过了机器审查。就在几个月前,AI才作为第一作者发表了一篇学术论文。
为什么AI生成的论文不能被机器识别出来?南都·AI前哨站了解到,目前的抄袭检测软件一般是通过与数据库中的文本对比,判断两者是否存在大量重复内容的方式检查论文是否为原创,但AI并非直接复制,而是根据给定的初始文本自行生成语句,不会被判定抄袭。
学生用AI写作业,AI还能自己写论文
近日,一位网名叫innovate_rye的大学生物化学学科一年级学生发帖称,他利用AI完成了他的课程论文,并拿到了A的评分。
他将写出生物技术的五件好事和坏事的论文要求提交给AI,不到20分钟,AI就完成了过去需要他花费两个小时的任务。我喜欢学习更多的东西,有时候重复地完成以前曾经做过的作业让我变得拖延,甚至不交作业。 innovate_rye说,对我来说,能够更快、更高效地完成这些事是一项技能。
有类似经历的还有高中生AeUsako。他用AI生成了一篇关于当代全球局势的文章。在他的老师眼中,这份作业不能拿到高分的唯一原因只是没有标明引用来源。
这些例子并非偶然。非营利性人工智能组织OpenAI为其语言模型GPT-3公布最新的应用编程接口后,越来越多的学生开始使用OpenAI的Playground和类似程序来完成课程论文的写作。美国俄亥俄州一位中学语言教师告诉媒体:学生使用AI生成或改写作业的问题极为突出。
作为业界公认的当前最先进的语言模型,GPT-3的神经网络包含1,750亿个神经,为全世界参数最多的神经网络模型。它能够通过深度学习生成类人文本,根据给定的短语或句子作为初始文本生成下文。目前全世界已有300余个应用程序在使用这一语言模型,每天生成的文本规模超过45亿字。
事实上,GPT-3能做的远不止于帮学生写作业。今年7月,它甚至成功提交了一篇关于其自身性能的学术论文。
学术档案馆HAL的公开信息显示,该论文第一作者为AI模型GPT-3,人类研究员Almira则以第二作者身份署名。
据Amira介绍,她要求GPT-3用500词写一篇关于GPT-3的学术论文,在正文中规范地添加参考文献和引用。两个小时后,GPT-3完成了这篇论文,包括摘要、简介、研究方法、结果、讨论、结论等必要部分,并在最后的引用环节提到了5篇论文。
内容完全以学术语言写出,对于其他学术论文正确引用,行文流畅到几乎找不到逻辑漏洞。Amira在看到结果时表示惊呆了。
抄袭检测软件无法识别,教师有办法
AI写论文背后的技术实质是AI系统学习人类的口语、书面语等自然语言,而后进行包括修改、生成等形式在内的处理,因此也被称为自然语言处理(NLP)技术。机器翻译、识别垃圾邮件、智能客服等在当下已经并不鲜见的功能,都是依托这一技术得以实现。
然而相比起NLP技术的进步,更加引人注意的是,学生们借助语言模型GPT-3生成的文章无法被抄袭检测软件识别。
据了解,目前的抄袭检测软件是通过对比的方式检查学生上传的论文是否为其原创。AI会对文本进行识别,根据不同语义将全文分解成众多相关段落,然后利用搜索引擎与数据库中的文本进一步比较,判断两者是否存在大量重复内容。但GPT-3生成的文本并非从互联网上已经发表的文章复制而来,而是其根据使用者给定的短语、句子等初始文本自行生成,因此不会被抄袭检测软件识别。
在不知道所有其他抄袭检查工具如何工作,以及它们未来可能的发展的情况下,我不认为AI文本可以以这种方式被识别出来。加拿大创新学习与技术研究主席、皇家大学副教授George Veletsianos表示。
不仅如此,由于GPT-3通过学习互联网上大量文本优化了输出结果,其生成的文本有着近乎完美的语法,对于词语的选择也十分精当,已经能够与真人完成的写作相媲美。
然而,在AI驱动的抄袭检测软件束手无策时,GPT-3这一特点也为经验丰富的教师们提供了新思路。我通常可以发现作弊行为,因为那些学生的作业中使用了复杂的句子结构和大量的形容词,美国一位语言老师对媒体说,大多数七年级的学生根本没有这个水平。
编译:实习生梁丙鉴 南都记者蒋琳