longcat ai通过原生多模态能力直接联合建模文档与语音，将文字、图像、音频统一为同源离散token，由dina架构实现跨模态理解；需选用支持文档+语音联合理解的longcat-flash-omni或含dnavit+audiodit的longcat-next模型，避免纯文本版本；输入需对齐文档（高dpi扫描件/pdf）与语音（16khz单声道），通过api或comfyui多输入字段调用，自动完成时间戳与页面坐标关联。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
LongCat AI 实现文档内容的语音分析，本质不是“先转语音再分析”，而是直接用其原生多模态能力对文档（PDF/图片/扫描件）和语音（如用户录音、客服通话）进行联合建模——它把文字、图像、音频统一变成同源离散 Token，再用同一个 DiNA 架构做跨模态理解。配置关键在于选对模型、准备好输入、走通端到端流程。
选对支持文档+语音联合理解的模型
不是所有 LongCat 模型都支持语音分析文档。必须使用具备完整多模态内化能力的版本：
- LongCat-Flash-Omni：专为长上下文（128K）和音视频理解优化，支持“文档图像 + 音频片段”同步输入，能识别图中表格、OCR 文字，并关联语音里提到的“刚才截图里的第3行数据”，是当前最推荐的主力型号
- LongCat-Next（带 dNaViT + AudioDiT 组件）：需确认部署包包含视觉分词器 dNaViT 和语音分词器 AudioDiT，否则无法真正内化两种模态
- 避免只用 LongCat-2.0 或纯文本版：它们虽参数大、上下文长，但缺乏原生语音编码能力，只能依赖外部 ASR 预处理，失去端到端优势
准备输入：文档与语音要对齐、可解析
语音分析文档，核心是让模型知道“哪段语音在说哪页文档”。不靠人工标注，靠结构化输入：
- 文档侧：PDF 建议保留原始排版；扫描件用高 DPI（≥300dpi），确保文字清晰；若含图表，优先提供 PNG/JPG 原图而非压缩后的网页截图
- 语音侧：时长建议 5–60 秒，采样率 16kHz，单声道 WAV 或 MP3；避免背景音乐或多人混音；如是会议录音，可提前用 Whisper 粗切分出与文档相关的片段（非必需，但提升精度）
- 关联方式：不拼接文件，而是通过 API 的 multi-input 字段分别传入文档路径（或 base64）和音频路径（或 bytes），框架自动对齐时间戳与页面坐标
调用方式：API 或本地 ComfyUI 工作流
两种主流部署路径，效果一致，选择取决于你的环境：
-
API 调用（适合集成到业务系统）：调用
/v1/multimodal/analyze接口，body 中包含{"document": "...", "audio": "...", "task": "summarize"}；返回结构化 JSON，含摘要、关键数据提取、语音情感倾向（如“用户语气急促，提及‘超时’3次”） -
ComfyUI 工作流（适合调试与定制）：安装
LongCat-Flash-Omni工作流后，在节点中拖入 “Document Loader”、“Audio Encoder”、“Cross-Modal Fusion” 三个核心模块；设置好文档路径、音频路径、任务类型（问答/比对/纠错），点击运行即可生成带时间戳的分析报告
常见问题与绕过技巧
实测中几个容易卡住的点，有明确解法：
-
OCR 识别不准？：换用 dNaViT 的高分辨率模式（在 config 中设
resolution=1920），它对小字号、斜体、印章覆盖文字更鲁棒 -
语音听不清术语？：在请求中加入
"domain_vocab": ["外卖超时", "骑手定位", "ETA"]，模型会动态增强这些词的声学建模权重 -
想定位语音具体说到哪一页？：启用 CAFI 机制（默认开启），输出结果中会有
{"page": 2, "timestamp_ms": 12450, "text": "第二页的配送时间写错了"}
