claude 4.5 sonnet在重复提问下输出更稳定：变异系数15.2%低于gpt-5的32.2%，失败案例错误归因一致率达71%高于gpt-5的38%，响应熵值3.87 bits低于gpt-5的4.21 bits。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您对GPT-5与Claude 4.5 Sonnet在重复提问下的输出稳定性进行比对，会发现二者在一致性表现上存在显著差异。以下是基于SWE-bench软件工程基准中150次编程任务重试实验所得出的具体验证步骤：
一、变异系数对比分析
变异系数是衡量模型重复响应离散程度的核心指标，数值越低代表同一问题多次调用时输出越稳定。研究团队对10个真实GitHub问题各执行5次推理，统计各模型生成结果的准确率分布标准差与均值之比。
1、提取每个模型在10个问题上的5次准确率数值，形成10组长度为5的序列。
2、对每组序列分别计算标准差与平均值，再求其比值，得到单问题变异系数。
3、将10个单问题变异系数取算术平均，获得模型整体变异系数。
4、Claude 4.5 Sonnet整体变异系数为15.2%，GPT-5为32.2%，Llama-3.1-70B达47.0%。
二、失败案例一致性归因检测
该方法通过追踪模型在失败场景下是否重复犯相同错误，判断其内部逻辑路径是否固化。若错误类型高度集中，说明模型对问题的理解偏差具有顽固性，反而体现某种“稳定性”。
1、筛选出各模型在10个问题中准确率为0的失败案例集合。
2、对每个失败案例的人工标注错误类型（如：代码定位错误、API调用参数错、测试断言误判等）进行聚类。
3、统计同一问题下5次失败中出现完全相同错误类型的次数占比。
4、Claude 4.5 Sonnet在71%的零分案例中表现出完全一致的错误归因模式，而GPT-5仅在38%的零分案例中呈现同类重复错误。
三、响应熵值动态采样
该方法不依赖人工标注结果，而是直接对模型原始输出文本进行信息熵计算，以量化其语言层面的波动强度。熵值越低，说明输出措辞、结构、术语选择越趋同。
1、对同一提示词生成的5次响应分别进行字符级n-gram（n=3）频率统计。
使用 @youdotcom-oss/teams-anthropic 将 Anthropic Claude 模型（Opus、Sonnet、Haiku）添加到 Microsoft Teams.ai 应用程序中。可选集成 You.com MCP 服务器以进行网页搜索和内容提取。
2、基于频率分布计算Shannon熵，公式为H = -Σ p(x) log₂ p(x)。
3、在SWE-bench Verified子集的100个随机提示上运行该流程。
4、GPT-5平均响应熵为4.21 bits，Claude 4.5 Sonnet为3.87 bits，表明后者在表层文本表达上更趋一致。
四、工具调用路径一致性校验
在涉及多步工具交互的任务中，模型需自主规划API调用序列。该方法检验其在重复执行时是否始终选择相同工具组合与调用顺序，反映底层决策链的稳定性。
1、限定τ2-bench telecom测试中的20个含工具链任务。
2、记录每次推理中模型生成的工具调用序列（含工具名、参数键名、参数值哈希）。
3、将5次序列两两比对，计算Jaccard相似度，取均值得到路径一致性得分。
4、GPT-5工具路径一致性得分为96.7%，Claude 4.5 Sonnet为82.3%，显示GPT-5在复杂操作流中更少出现路径漂移。
五、上下文敏感扰动鲁棒性测试
该方法向原始提示注入无语义干扰项（如空格、换行、同义词替换），观察模型输出是否因此发生实质性变化，用以评估其对输入微扰的抵抗能力——稳定性不仅体现在重复，更体现在抗扰动。
1、对SWE-bench中50个问题原始提示生成3种扰动变体：空格增删版、标点替换版、被动语态转主动语态版。
2、每种变体执行5次推理，共750次调用。
3、将原始提示5次响应设为基准集，统计扰动后响应与基准集的语义等价率（经人工双盲判定）。
4、GPT-5在扰动下的语义等价率为63.1%，Claude 4.5 Sonnet为41.9%，表明前者对输入格式变化更具容忍度。
