线性关注

大型语言模型（LLMS）出色，但它们的软磁性注意机制呈现了计算瓶颈。本文探讨了实现线性时间复杂性的替代方案。

注意基础

>假设熟悉诸如Chatgpt和Transformers之类的LLM，我们专注于这些模型的核心。与将过去状态压缩到隐藏的向量的RNN不同，注意力选择性地检索了每个新查询的相关过去数据。 变压器使用键（k），查询（q）和值（v）嵌入。 注意机制与查询与取回值的键相匹配：

SoftMax将相似性得分转换为概率，类似于K-Nearest邻居。

单个注意力层的计算成本为：

softmax的二次复杂性（O（n²））对于长序列（n＆gt;＆gt; 100k）而变得过于敏锐。

>

线性注意：解决方案？

> Katharopoulos等人提出的线性注意力

巧妙地重写了SoftMax指数为内核函数，从而实现了线性计算。 转换如下所示：

elu(x) 1>

函数近似于指数。计算成本变为：

当N＆gt;＆gt;＆gt; D，LLMS中的常见情况。 经常性的视图是：

> softmax的不可分割性阻止了这种线性化。 在解码过程中，仅S（N-1）需要跟踪，导致每个令牌o（d²）。但是，固定尺寸的S（n-1）限制了上下文保留。 封闭线性注意：战略记忆

通过选择性保留信息来解决内存限制，

封闭式线性注意力。 关键更改是在S_N的配方中：

存在

>

存在各种门控函数（G），每个函数都会导致不同的模型：>

>门控函数的依赖性仅对当前令牌允许有效的并行处理。

状态空间模型：卷积方法

状态空间模型（SSM）提供不同的视角，以处理CNNS过程图像等序列。 该模型是一个离散的线性时间不变系统：

这与卷积有关：

> H3使用两种互补的SSM层：>

选择性状态空间模型：数据依赖性动力学

SSMS的固定参数限制了适应性。选择性SSM通过使系统依赖于数据来解决此问题：

Mamba

>

使用带有输出门控和卷积的选择性SSM：

结论

>本文追踪了有效序列建模的演变，突出了计算效率和内存能力之间的权衡。 SoftMax的二次复杂性与线性注意力的效率形成鲜明对比，但后者的记忆有限导致封闭式的线性注意力和SSM。 朝着数据依赖性模型（封闭线性注意力和选择性SSM）的进展强调了自适应信息保留的重要性。 引用的论文中提出了进一步的阅读。

>

参考：

> Katharopoulos等。 （2020）

， Yang等。 （2023）

，> fu等。 （2022），gu＆dao（2023）， Waleffe等。 （2024）。 （注意：简短省略了全文，但在原始输入中可用。 确认：（确认部分保持不变。）>

以上是线性关注的详细内容。更多信息请关注PHP中文网其他相关文章！