比肩Transformer的Mamba在时间序列上有效吗?

大强酱_9684

大强酱_9684

2024-04-02

1499人浏览

转载

Mamba 是最近最火的模型之一,更是被业内认为可以有取代 Transformer 的潜力。今天介绍的这篇文章,探索了 Mamba 模型在时间序列预测任务上是否有效。本文首先给大家介绍 Mamba 的基础原理,再结合这篇文章探索在时间序列预测场景下 Mamba 是否有效。 Mamba 模型是一种基于深度学习的模型,它采用了自回归架构,可以在时间序列数据中捕捉到长期依赖关系。与传统的模型相比,Mamba 模型在时间序列预测任务上表现出色。 通过实验和对比分析,本文发现 Mamba 模型在时间序列预测任务上有很好的效果。它可以准确地预测未来的时间序列值,并且在长期依赖关系的捕捉上表现更好。 总结

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

比肩transformer的mamba在时间序列上有效吗?

论文标题:Is Mamba Effective for Time Series Forecasting?

下载地址:https://www.php.cn/link/f06d497659096949ed7c01894ba38694

1、Mamba基础原理

Mamba是一种基于State Space Model的结构,但与RNN非常相似。Mamba相比Transformer,在训练阶段和inference阶段都有随序列长度线性增长的时间复杂度,运算效率取决于Transformer这种结构。

Mamba的核心可以分为以下4个部分:

State Space Model(SSM)是一种用来刻画一个状态对当前状态的影响,以及当前状态对输出的影响的数学模型。在State Space Model中,假设上一个状态和当前时刻的输入会影响下一个状态,并且当前状态对输出的影响。SSM可以表示为如下形式,矩阵A、B、C、D为超参数。 矩阵A表示上一状态对当前状态的影响; 矩阵B表示当前时刻的输入会影响下一个状态; 矩阵C表示当前状态对输出的影响; 矩阵D表示当输入对输出的直接影响。 通过观测当前输出以及当前时刻的输入,可以推断出下一个状态的值。根据当前观测结果以及当时状态的决定的。SSM可以用于动态系统建模、状态估计和控制应用等领域。

比肩Transformer的Mamba在时间序列上有效吗?图片

卷积表达:用卷积来表示SSM,实现训练阶段的并发计算,通过将SSM中的计算输出的公式按照时间展开,通过设计相应的卷积核到一定的形式,可以利用卷积来表达每个时刻的输出为前三个时刻输出的函数:

比肩Transformer的Mamba在时间序列上有效吗?图片

Hippo Matrix:对于参数A,引入Hippo Matrix实现对历史信息的衰减融合;

比肩Transformer的Mamba在时间序列上有效吗?图片

Selective模块:对于参数B和参数C个性化的矩阵实现对历史信息的个性化选择,将每个时刻的参数矩阵转换成关于输入的函数,实现每个时刻个性化的参数。

一览运营宝
一览运营宝

一款面向视频内容运营的AI创作工具,可辅助进行视频内容策划、创作和运营工作,帮助内容团队提高视频生产效率。

下载

比肩Transformer的Mamba在时间序列上有效吗?图片

关于Mamba更详细的模型解析,以及后续的Mamba相关工作,也更新到了知识星球中,感兴趣的同学可以在星球中进一步深入学习。

2、Mamba时间序列模型

下面介绍一下这篇文章中提出的Mamba时间序列预测框架,整体基于Mamba,对时间序列数据进行适配。整体分为Embedding、S/D-Mamba layer、Norm-FFN-Norm Layer三个部分。

Embedding:类似iTransformer的处理方法,对每个变量单独进行映射,生成每个变量的embedding,再将每个变量的embedding输入到后续的Mamba中。因此本文也可以看成是对iTransformer的模型结构的一个改造,改成了Mamba结构;

S/D-Mamba layer:Embedding的输入维度为[batch_size, variable_number, dim],将其输入到Mamba中,文中探索了S和D两种Mamba层,分别表示每层用一个mamba还是两个mamba,两个mamba会将两个的输出相加得到每层的输出结果;

Norm-FFN-Norm Layer:在输出层,使用normalization层和FFN层对Mamba的输出表征进行归一化和映射,结合残差网络,提升模型收敛性和稳定性。

比肩Transformer的Mamba在时间序列上有效吗?图片

3、实验效果

下图是文中的核心实验结果,对比了Mamba和iTransformer、PatchTST等业内主流时间序列模型的效果。文中还对不同的预测窗口、泛化性等进行了实验对比。实验表明,Mamba不仅在计算资源上有优势,在模型效果上也可以比肩Transformer相关的模型,并且在长周期的建模上也很有前景。

比肩Transformer的Mamba在时间序列上有效吗?图片

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.16

5650

6

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

20

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

40

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

20

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

20

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

40

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

20

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

180

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

140

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习