人工智能撰写的科学论文听起来很棒——但并不准确

(SeaPRwire) –   首先是学生,他们需要帮助完成作业和论文。现在,ChatGPT也吸引了科学家,他们面临着在可靠的科学期刊上发表论文的压力。

AI已经在科学出版的陈旧世界中造成破坏。当梅丽莎·卡塞纳(Melissa Kacena)担任印第安纳大学医学院外科学系副主任时,她审查期刊上提交的论文,现在她知道要留意可能是由AI程序ChatGPT写的论文。“我现在有一个经验法则,如果我从论文中随机选择10个参考文献,如果其中超过1个不准确,我就会拒绝该论文,”她说。

但尽管存在缺陷,AI也有很大潜力。例如撰写综述文章,这对AI来说是一个很好的任务:它涉及筛选一个主题的现有研究成果,分析结果,得出该主题科学状态的结论,并提供一些新见解。ChatGPT可以很好地完成所有这些工作。

卡塞纳决定看看谁写综述文章更好,是人还是ChatGPT。为了她的研究,她将9名学生和AI程序分成3组,让每组就不同主题写一篇综述文章。对于一组,她要求学生自己写文章;对于另一组,她指示ChatGPT写同一主题的文章;最后一组,她让每个学生都有一个ChatGPT账户,并告诉他们与AI程序一起写文章。这让她能比较由人写、单独由AI写以及人与AI合作写的三种类型文章在准确性、阅读性和使用适当语言等方面的差异。她请教职员同事和学生核实每篇文章,然后对比三种类型文章。

结果令人眼前一亮。ChatGPT写的文章阅读性好,甚至比学生写的还好。但高达70%的参考文献是不准确的:要么是从几项不同研究中混合引用的,要么完全是虚构的。AI版本更容易出现剽窃。

“卡塞纳说,“ChatGPT给出的一些虚假陈述其实很有说服力。它使用了正确的语法结构,将它们与段落中的正确陈述融合在一起,所以有时没有警报。只有因为教职员对数据很了解,或者因为学生对所有内容进行了事实核查,才能发现问题。”

AI生成的文章也有一些优点。算法更快速和高效地处理所有必需数据,总体上,ChatGPT使用的语法比学生好。但它不能总是考虑场合:AI倾向于使用更华丽的语言,这对科学期刊来说不总是恰当的(除非学生告诉ChatGPT从研究生水平的科学视角来写)。

这反映了AI使用的一个真实:它的水平只能达到它收到的信息水平。尽管ChatGPT还不太适合撰写科学期刊文章,但通过适当的编程和培训,它可能会改进,成为研究人员有用的工具。“目前它单独使用效果不佳,但可以通过合作来改进,”卡塞纳说。例如,如果询问,该算法在如何总结数据成图表和图形表达方面给出的建议是精准的,正是我会采取的方法。”

学生对ChatGPT工作的反馈越多,它的学习效果就越好——这也代表了它最大的潜力。在研究中,一些学生发现,当他们与ChatGPT合作写文章时,如果告诉它正确做了什么,哪些不太有帮助,那么程序将继续改进并提供更好的结果。这意味着可以解决问题,如可疑参考和剽窃。例如,可以编程ChatGPT不合并参考,将每个科学期刊文章视为单独的参考,并限制连续单词复制以避免剽窃。

通过更多输入和一些修复,卡塞纳认为AI可以帮助研究人员简化写作流程,甚至获得科学见解。“我认为ChatGPT是来了以后,如何使它更好,以及如何以一种道德、负责任和科学上可靠的方式使用它,将变得非常重要,”她说。