利用大模型打造文本摘要训练新范式

1、文本任务

本文的主要内容是关于生成式文本摘要方法的讨论，重点介绍了利用对比学习和大型模型实现最新的训练范式。主要涉及两篇文章，一篇是BRIO: Bringing Order to Abstractive Summarization（2022），利用对比学习在生成模型中引入ranking任务；另一篇是On Learning to Summarize with Large Language Models as References（2023），在BRIO基础上进一步引入大模型生成高质量训练数据。

2、生成式文本摘要训练方法和问题

生成式文本摘要的训练一般采用极大似估计的方式。首先用一个Encoder对document进行编码，然后用一个Decoder递归的预测摘要中的每个文本，拟合的目标是一个人工构造的摘要标准答案。将每个位置生成文本的概率最接近标准答案的目标，用一个优化函数来表示：

这种方式的问题在于，训练和下游实际任务并不一致。一个文档可以生成多个摘要，它们的质量可能优良也可能较差。而MLE要求拟合的目标必须是唯一一个标准答案。这种差距也导致文本摘要模型难以有效地比较两个质量不同的摘要的优劣。例如在BRIO这篇论文中做了一个实验，一般的文本摘要模型在判断质量不同的两个摘要的相对顺序时，效果非常差。

3、生成模型引入排序对比学习

为了解决传统生成式文本摘要模型存在的问题，BRIO: Bringing Order to Abstractive Summarization（2022）提出在生成模型中进一步引入对比学习任务，提升模型对不同质量摘要的排序能力。

BRIO采用多任务的形式进行训练。第一个任务采用了与传统生成式模型相同的方法，即通过MLE来拟合标准答案。第二个任务是一个对比学习任务，让一个预训练的文本摘要模型使用beam search生成不同的两个结果，使用ROUGE评估这两个生成结果和标准答案之间哪个更好，以确定这两个摘要的排序。这两个摘要结果输入到Decoder中，得到两个摘要的概率，通过对比学习loss让模型给高质量摘要更高的打分。这部分对比学习loss的计算方式如下：

4、大模型优化文本摘要

人们发现使用GPT等大型模型生成的摘要的质量甚至比人工生成的还要好，因此这类大型模型越来越受到欢迎。这种情况下，使用人工生成的标准答案就限制了模型效果的天花板。因此On Learning to Summarize with Large Language Models as References（2023）提出使用GPT这种大模型生成训练数据，指导摘要模型学习。

这篇文章提出了3种利用大模型生成训练样本的方式。

第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。

第二种方式为GPTScore，主要是利用预训练大模型对生成的摘要进行打分，以这个打分作为评估摘要质量的依据，然后使用类似BRIO中的方式进行对比学习训练。GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。

第三种方式为GPTRank，这种方法让大模型对各个摘要进行排序而非直接打分，并让大模型对排序逻辑做出解释，以此获取更合理的排序结果。

5、总结

大模型在摘要生成上的能力得到越来越广泛的认可，因此利用大模型作为摘要模型拟合目标的生成器，取代人工标注结果，将成为未来的发展趋势。同时，利用排序对比学习进行摘要生成的训练，让摘要模型感知摘要质量，超越原本的点拟合，对于提升摘要模型效果也至关重要。

以上是利用大模型打造文本摘要训练新范式的详细内容。更多信息请关注PHP中文网其他相关文章！