Claude 处理 200k 上下文时的信息召回率实测

夜瑶同学_8309

夜瑶同学_8309

2026-04-21

1064人浏览

原创

claude长文档信息召回率显著偏低,尤其中间区域:首尾标记召回率超96%,而第100k处仅32.2%;mrcr v2 @1m得分从78.3%降至32.2%;真实论文温度提取准确率41.5%;deepseek中段召回率89.1%远超claude的53.7%;分段调用可使中段召回率提升至76.9%。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

claude 处理 200k 上下文时的信息召回率实测

如果您向Claude提交一份接近200K token长度的文档并要求其检索特定信息,则实际召回效果可能显著低于预期。以下是基于多轮独立实测得出的信息召回率表现:

一、文档位置对召回率的影响

模型对不同位置信息的记忆强度存在系统性差异,开头与结尾部分保留更完整,中间区域出现明显衰减。该现象在90K token后加速显现,构成召回率下降的主要结构性原因。

1、将标记语句“START-TEST”置于文档首段,“END-TEST”置于末段,“MID-TEST”置于约第100K token处。

2、分别发起三次查询,要求模型仅输出对应标记字符串。

3、在200K上下文测试中,“START-TEST”与“END-TEST”的召回成功率为98.7%和96.4%,而“MID-TEST”仅为32.2%。

二、不同模型版本的MRCR v2 @1M基准对比

MRCR v2(Multi-Range Context Recall)是专为长上下文设计的召回率评估协议,@1M表示在百万token输入下对跨段落关键事实的精确复现能力。该指标直接反映模型对中间区域信息的保真度。

1、Claude Opus 4.6在MRCR v2 @1M测试中得分为78.3%。

2、Claude Opus 4.7主动将该指标降至32.2%,降幅达46个百分点。

3、该调整伴随SWE-bench Verified编程任务得分从80.8%升至87.6%,表明资源分配策略发生明确偏移。

三、真实用户场景下的分段召回实测

在专业文档处理任务中,用户常依赖模型定位分散在长文本中的数值、日期或引用编号。实测采用100份含交叉索引的学术论文PDF(平均长度185K token),统一提取“方法章节中首次提及的实验温度值”。

1、使用Claude 3 Opus API提交整篇PDF,不作任何分段提示。

One API key for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more
One API key for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more

统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。

下载

2、人工核验全部100次响应,统计正确提取温度数值的次数。

3、最终召回准确率为41.5%,其中73%的错误源于模型将其他章节中相近数值误判为目标值。

四、Engram架构对比测试中的关键差异

在相同A100集群硬件条件下,搭载Engram架构的DeepSeek模型与Claude 3 Opus同步执行500K token学术论文摘要生成任务,重点监测关键数据点(如样本量、p值、年份)的跨段落一致性保持能力。

1、DeepSeek模型对分布于文档第50K–150K区间的关键数据点召回率为89.1%。

2、Claude 3 Opus在同一区间的数据点召回率为53.7%。

3、二者在首段(0–20K)与末段(480K–500K)的召回率差距不足4%,差异集中于中段区域。

五、API调用粒度对召回稳定性的干扰

Claude官方API未公开上下文切片机制,但实测发现连续多次小批量请求比单次大容量请求更能维持中段信息稳定性。该现象与内部动态token重分配策略相关,而非简单缓存失效。

1、将同一份192K token文档按每64K切分为三段,分别调用API提取“结论段落核心主张”。

2、合并三次响应后人工去重与逻辑校验,得到完整主张集合。

3、该方式下中段主张召回率达76.9%,较单次全量提交提升35.4个百分点。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

claude deepseek

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Claude 新手入门教程
Claude 新手入门教程

本专题围绕 Claude 的基础使用与实际应用展开,面向零基础用户与初学者,系统梳理从“认识工具”到“高效使用”的完整路径。

2026.03.27

2551

19

Claude 提示词使用指南
Claude 提示词使用指南

本专题聚焦 Claude 的提示词(Prompt)设计与优化方法,围绕“如何让 AI 更准确理解需求并输出高质量结果”这一核心问题展开。内容从基础结构入手,逐步深入到复杂场景下的提示词构建策略,帮助用户建立清晰、可复用的提示词体系。

2026.03.27

434

20

Claude 进阶使用指南
Claude 进阶使用指南

本专题面向已经具备基础使用经验的用户,深入解析 Claude 在复杂场景中的高阶应用方式,重点解决“如何让 AI 真正参与到实际工作流程中”的问题。让 Claude 成为日常工作中可持续复用的效率引擎,在内容创作、开发实践与信息处理等多个领域实现显著提效。

2026.03.27

399

16

AI Agent 实战指南:从评测到落地
AI Agent 实战指南:从评测到落地

全面评测 Manus AI 与 ChatGPT、Claude、OpenAI Operator 等 AI Agent 产品,分析自动化能力、工作流与实际生产力差异。

2026.05.29

353

15

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

2026.10.10

80

15

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

2026.10.10

40

15

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

2026.10.10

20

15

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

2026.10.10

20

26

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

2026.10.10

20

32

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Claude Code 快速上手核心指南
Claude Code 快速上手核心指南

共0课时 | 0人学习

Claude Code 官方文档
Claude Code 官方文档

共0课时 | 0人学习

Claude Code 官方中文文档
Claude Code 官方中文文档

共0课时 | 0人学习