minimax视频生成模型通过dit实现时空联合建模,ncr优化推理计算分配,moe+linear attention支撑长序列高效处理,s2v保障单图驱动下的主体一致性,director-level架构嵌入运镜控制。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您希望理解MiniMax视频生成模型为何能产出高连贯性、高物理真实感的动态内容,则需深入其底层技术架构与数据处理逻辑。以下是对其核心原理与架构构成的解析:
一、DiT架构:时空联合建模的基础范式
DiT(Diffusion Transformer)是MiniMax视频生成系列中关键的骨干架构,它将扩散模型的概率建模能力与Transformer的全局注意力机制深度融合。该架构摒弃了传统CNN或RNN对视频的局部帧间建模方式,转而将视频视为三维张量(高度×宽度×时间),在统一空间-时间维度上进行联合表征学习。
1、模型输入被切分为时空块(spatio-temporal patches),每个块同时携带空间位置与时间步信息;
2、通过自注意力机制,每个块可动态聚合来自任意空间位置与任意时间点的相关特征,实现跨帧因果建模;
3、在去噪过程中,模型不仅依据当前帧预测前一帧,还隐式参考起始文本条件与未来帧的语义约束,保障运动轨迹的合理性;
4、训练时采用分层噪声调度策略,对高频运动细节施加更强监督,提升肢体动作与流体形变的物理保真度。
二、NCR架构:噪声感知计算再分配机制
NCR(Noise-aware Compute Redistribution)是Hailuo 02版本引入的推理优化架构,其核心在于根据扩散过程不同阶段的噪声强度动态调整计算资源分配。该机制并非均匀消耗算力,而是识别出低噪声区域(如静态背景)与高噪声区域(如快速运动边缘),针对性增强后者对应的注意力头与MLP通道激活强度。
1、在初始高噪声阶段,模型聚焦于粗粒度结构重建,仅激活部分专家子网络;
2、随着去噪迭代推进,系统实时评估各时空区域的残差方差,自动提升高方差区域的计算带宽;
3、通过轻量级噪声强度预测头引导路由决策,避免全量参数激活带来的冗余开销;
4、该机制使同等硬件条件下推理吞吐量提升2.5倍,同时保持帧间一致性指标不下降。
三、MOE+Linear Attention混合架构:长序列高效建模
为支撑高分辨率(1080p)、高帧率(24fps以上)及长时长(≥8秒)视频生成,MiniMax采用MOE(Mixture of Experts)与Linear Attention协同设计。MOE结构将模型参数按功能划分为多个稀疏激活的专家模块,而Linear Attention则替代标准Softmax注意力,将复杂度从O(N²)压缩至O(N),从而突破显存与延迟瓶颈。
1、每个Transformer层配置4个视觉专家与2个时序专家,由门控网络依据输入patch语义动态选择激活组合;
2、Linear Attention使用核函数近似softmax权重,支持对128K token长度的时空序列进行端到端建模;
3、专家间通过共享的跨模态适配器实现文本指令与视觉特征的细粒度对齐;
4、该架构在128K序列长度下,相较通用Transformer降低90%以上的训练成本。
四、S2V单图驱动架构:主体一致性保障机制
S2V(Single-image to Video)是MiniMax针对图生视频任务构建的专用轻量化架构,专为“一张照片生成多风格视频”场景设计。其核心不依赖大规模视频预训练,而是通过解耦身份表征与运动表征,在极低输入成本下实现角色稳定性控制。
1、输入图像经身份编码器提取ID嵌入向量,该向量全程冻结并注入每一去噪步;
2、运动解码器独立学习姿态迁移路径,通过光流引导的运动先验模块约束关节旋转与形变幅度;
3、面部区域采用独立的高斯热图注意力掩码,强制模型在所有帧中维持同一套关键点拓扑结构;
4、该方案仅需传统方法1%的输入数据量与计算成本,即可达成面部多角度一致性的工业级要求。
五、Director-Level运镜控制架构
Hailuo 02引入的导演控制工具包并非后处理插件,而是深度嵌入生成主干的结构化控制机制。它将运镜指令(如“缓慢推近”“环绕拍摄”)编译为时空注意力偏置矩阵,直接干预Transformer各层的注意力分布,从而在潜空间层面塑造镜头运动轨迹。
1、文本指令经专用运镜解析器映射为六自由度相机参数序列(平移X/Y/Z、旋转α/β/γ);
2、参数序列被转化为可微分的空间变形场,并叠加于每帧的注意力位置编码之上;
3、模型在去噪过程中同步优化画面内容与相机运动,确保主体在动态构图中始终处于符合电影语法的视觉焦点;
4、该机制支持鸟瞰图、特写、倾斜镜头等12类专业运镜模式,无需额外标注数据即可泛化至未见指令组合。











