☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
停更 13 个月后，前OpenAI安全研究副总裁、现任Thinking Machines Lab联合创始人翁荔，在其个人博客Lil'Log上发布了一篇超万字深度技术文章《Scaling Laws， Carefully》，坦承此文“迟到了三年多”。该文对驱动大模型产业数百亿美元投入的Scaling Laws进行了全面重审与底层剖析，所得核心结论令不少一线从业者心头一震：当前主流模型所采用的数据配比策略，或许自起点便已偏离正轨。
从Kaplan到Chinchilla：一段被颠倒书写的行业共识
一切始于2020年——OpenAI研究员Jared Kaplan发表奠基性论文，指出在log-log坐标系下，训练损失会随模型参数量、训练数据量及计算资源呈平滑幂律下降；据此推导出的关键主张是：参数增长应显著快于数据增长。GPT-3正是这一范式的典型产物：参数达1750亿，而训练token仅约3000亿。
两年后，DeepMind团队以更大规模实验颠覆了上述认知。他们将2800亿参数的Gopher与700亿参数的Chinchilla置于相同算力预算下对比——后者参数仅为前者的1/4，但训练数据量却高出四倍有余；结果Chinchilla在全部基准测试中全面超越Gopher。Chinchilla揭示的新规律是：参数与数据需协同等比扩张，最优比例约为1:20，而非Kaplan所倡导的“参数狂奔、数据滞后”。这也合理解释了为何Llama、DeepSeek等参数规模不及GPT-3的模型，实际性能却远超前者。
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
翁荔深入剖析了Kaplan结论偏差的成因：其原始实验最大模型仅15亿参数，小尺度区间内的拟合趋势被不当外推至万亿级规模，最终酿成系统性误判；此外，Kaplan在参数统计中刻意剔除了embedding层，而该部分在中小模型中占比极高，忽略它将严重扭曲比例关系。更富戏剧性的是，2024年Epoch AI团队逐行复现Chinchilla原始拟合代码时，竟发现两处关键bug——损失函数误用均值而非求和，致使优化器错误判定收敛；核心幂律指数被强制保留两位小数，引入虚假精度——修复后，所有数据再度坚定支持参数与数据等比增长这一结论。
数据墙迫近，重复训练边际效益呈指数塌缩
前述所有分析均建立在“训练数据无限且无重复”的理想假设之上。然而现实残酷：高质量公开文本数据预计将于2026至2028年间基本耗尽。多项研究表明，重复使用同一数据进行多轮训练的有效价值呈指数级衰减，每新增一轮训练带来的性能增益急剧萎缩。翁荔在文中嵌入的交互式模拟器，生动呈现了工程细节的极端敏感性——仅微调拟合精度或噪声设定，外推所得的规模预测就可能相去甚远、谬以千里。
翁荔最终写下这句沉淀三年的断言：Scaling Laws并非自然界的物理定律，它本质上是一份高度依赖具体实现细节的经验性操作指南。
