随着大模型（llm）的出现，传统的在特定数据集上进行微调的方法已经不在适用。
我们不禁会问，llm 在生成摘要方面效果到底如何？
为了回答这个问题，来自北京大学的研究人员在论文《summarization is (almost) dead》中进行了详细的探讨。他们利用人类生成的评估数据集评估了llm在各种摘要任务（单条新闻、多条新闻、对话、源代码和跨语言摘要）上的表现
在对llm生成的摘要、人工撰写的摘要和微调模型生成的摘要进行定量和定性的比较后，发现llm生成的摘要明显受到人类评估者的喜爱
在对过去3年发表在acl、emnlp、naacl和coling上的100篇与摘要方法相关的论文进行抽样和检查后，研究人员发现大约70%的论文的主要贡献是提出了一种总结摘要方法并在标准数据集上验证了其有效性。因此，该研究表示「摘要（几乎）已死（summarization is (almost) dead）」
尽管如此，研究者表示该领域仍然面临一些挑战，比如需要更高质量的参考数据集和改进评估方法等问题仍需解决
论文链接：https://arxiv.org/pdf/2309.09558.pdf
方法及结果该研究使用最新的数据来构建数据集，每个数据集由 50 个样本组成。
在执行单条新闻、多条新闻和对话摘要任务时，我们使用了与 cnn/dailymail、multi-news 数据集构建方法相似的方法进行模拟。对于跨语言摘要任务，我们采用了与 zhu 等人提出的方法相同的策略。至于代码摘要任务，则采用了 bahrami 等人提出的方法
数据集构建完成之后，接下来就是方法了。具体来说，针对单条新闻任务本文采用 bart 和 t5 ；多条新闻任务采用 pegasus 和 bart；t5 和 bart 用于对话任务；跨语言任务使用 mt5 和 mbart ；源代码任务使用 codet5 。
在这项实验中，研究采用了人类评估员来比较不同摘要的整体质量。根据图1的结果显示，llm生成的摘要在所有任务中都表现出优于人工生成的摘要和微调模型生成的摘要的特点
这引发了一个问题：为什么 llm 能够超越人类撰写的摘要，而传统上人们认为这些摘要是完美无缺的。此外，初步观察表明，llm 生成的摘要非常流畅和连贯
本文进一步招募注释者来识别人类和 llm 生成摘要句子中的幻觉问题，结果如表 1 所示，与 gpt-4 生成的摘要相比，人工书写的摘要表现出相同或更高数量的幻觉。在多条新闻和代码摘要等特定任务中，人工编写的摘要表现出明显较差的事实一致性。
表2显示了人工撰写的摘要和gpt-4生成摘要中出现幻觉的比例
本文还发现人工编写的参考摘要存在这样一个问题，即缺乏流畅性。如图 2 (a) 所示，人工编写的参考摘要有时存在信息不完整的缺陷。并且在图 2 (b) 中，一些由人工编写的参考摘要会出现幻觉。
本研究还发现微调模型生成的摘要通常具有固定且严格的长度，而llm能够根据输入信息调整输出长度。此外，当输入包含多个主题时，微调模型生成的摘要对主题的覆盖率较低，如图3所示，而llm在生成摘要时能够捕获所有主题
根据图4的结果可知，人类对大型模型的偏好分数超过50%，这表明人们对其摘要有很强的偏好，并且凸显了llm在文本摘要方面的能力
以上就是gpt-4的流畅性能如何？人类写作能被超越吗？的详细内容。