首页  >  文章  >  科技周边  >  谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

WBOY
WBOY转载
2023-11-13 08:26:39763浏览

谷歌DeepMind最近发现的一项新结果在Transformer领域引起了广泛争议:

它的泛化能力,无法扩展到训练数据以外的内容。

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

目前这一结论还没有进一步得到验证,但已经惊动了一众大佬,比如Keras之父Francois Chollet表示,如果消息为真,将成为大模型界的一件大事。

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

谷歌Transformer是今天大模型背后的基础架构,我们所熟悉的GPT里的“T”指的就是它。

一系列大模型表现出强大的上下文学习能力,可以快速学习示例并完成新的任务。

但现在,同样来自Google的研究人员似乎指出了它的致命缺陷——超出训练数据也就是人类已有知识之外,全都无能为力。

一时间,不少从业者认为AGI再次变得遥不可及。

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

有些网友指出,论文中还有一些被忽视的关键细节,例如实验只涉及到了GPT-2的规模,训练数据也不够丰富

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

随着时间的推移,更多认真研究了这篇论文的网友则指出,研究结论本身没什么问题,但人们却基于此做出过度的解读。

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

在论文引发网友热议后,其中一位作者也公开进行了两点澄清:

首先,实验中采用的是简单的Transformer,既不是“大”模型,也不是语言模型;

其次,模型是可以学习新任务的,只是无法泛化到新类型的任务

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

此后,又有网友在Colab中重复了这一实验,却得到了完全不同的结果。

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

那么,我们就先来看看这篇论文,还有提出不同结果的Samuel,到底都说了什么。

新函数几乎无法预测

在这个实验中,作者使用基于Jax的机器学习框架训练了一个规模接近GPT-2的Transformer模型,该模型仅包含解码器部分

这个模型包含12层,8个注意力头,嵌入空间维度为256,参数量约为950万

为了测试它的泛化能力,作者选择了函数作为测试对象。他们将线性函数和正弦函数作为训练数据输入模型中

这两种函数对于此时的模型来说是已知,预测的结果自然也很好,但当研究者把线性函数和正弦函数进行了凸性组合时,问题就出现了。

凸性组合并没有那么神秘,作者构建出了形如f(x)=a·kx+(1-a)sin(x)的函数,在我们看来不过是两个函数按比例简单相加。

我们之所以会这样认为是因为我们的大脑具备这种泛化能力,而大规模模型则不同

对于只学过线性和正弦函数的模型来说,简单的相加看起来很新颖

针对这种新函数,Transformer的预测几乎没有任何准确性(见图4c),因此作者认为该模型在函数上缺乏泛化能力

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

为了进一步验证自己的结论,作者调整了线性或正弦函数的权重,但即使这样Transformer的预测表现也没有显着的变化。

只有一点例外——当其中一项的权重接近1时,模型的预测结果和实际就比较吻合了。

如果权重为1,则表示陌生的新函数直接变成了训练时已经见过的函数,这种数据对于模型的泛化能力显然没有什么帮助

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

进一步实验还显示,Transformer不仅对于函数的种类十分敏感,甚至同种函数也可能变成陌生条件。

研究人员发现,在改变正弦函数的频率时,即使是简单的函数模型,预测结果也会出现线束变化

只有当频率接近训练数据中的函数时,模型才能给出比较准确的预测,当频率过高或过低时,预测结果出现了严重的偏差……

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

据此,作者认为,条件只要稍微有点不一样,大模型就不知道怎么做了,这不就是说明泛化能力差吗?

作者在文中也自述了研究中存在的一些局限性,如何将函数数据上的观察应用到token化的自然语言问题上。

团队也在语言模型上尝试了相似的试验但遇到一些障碍,如何适当定义任务族(相当于这里的函数种类)、凸组合等还有待解决。

然而,萨缪尔的模型规模较小,只有4层,在Colab上训练5分钟后就可以适用于线性与正弦函数的组合

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

不能泛化又如何

根据整篇文章的综合内容来看,Quora CEO在这篇文章中的结论非常狭隘,只有在许多假设成立的情况下才能成立

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

斯隆奖得主、UCLA教授顾全全说,这篇论文本身的结论不存在争议,但不应该被过度解读。

根据之前的研究,Transformer模型只有在面对与预训练数据明显不同的内容时才无法泛化。事实上,大型模型的泛化能力通常是通过任务的多样性和复杂性来评估的

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

如果仔细追究Transformer的泛化能力,恐怕要让子弹再飞一会儿了。

但是,就算真的缺乏泛化能力,又能怎么样呢?

英伟达AI科学家Jim Fan就说,这种现象其实没啥奇怪的,因为Transformer本来就不是万金油,大模型表现得好,是因为训练数据刚好是我们关心的内容

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

Jim进一步补充道,这就好像是在说,用一千亿张猫狗的照片训练视觉模型,接着让模型去识别飞机,然后发现,哇,居然真的不认识诶。

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

人类在面对一些未知任务时,不仅仅是大规模模型,也未必能够找到解决方案。这是否也暗示了人类缺乏泛化能力呢?

谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟

因此,在以目标为导向的过程中,不论是大型模型还是人类,最终的目的都是解决问题,而泛化只是一种手段

将这个表达方式换成中文,既然泛化能力不足,那就将其训练到没有训练样本之外的数据为止

那么,对于这项研究,你有什么看法呢?

论文地址:https://arxiv.org/abs/2311.00871

以上是谷歌大模型研究引发激烈争议:训练数据之外的泛化能力受到质疑,网友表示AGI奇点或被推迟的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文转载于:51cto.com。如有侵权,请联系admin@php.cn删除