Andrej karpathy在拼图解决基准上

AI 发展评估：超越解谜式基准测试

长期以来，人工智能基准测试一直是衡量人工智能进步的标准，它提供了一种切实可行的方法来评估和比较系统能力。但这种方法真的是评估 AI 系统的最佳方式吗？Andrej Karpathy 最近在 X 平台上的一篇文章中对这种方法的充分性提出了质疑。AI 系统在解决预定义问题方面越来越熟练，但其更广泛的效用和适应性仍然不确定。这就引出了一个重要的问题：我们是否仅仅关注解谜式基准测试，从而阻碍了 AI 的真正潜力？

我个人对这些小型解谜基准测试不太感冒，感觉又回到了雅达利时代。我更关注的基准测试更接近于 AI 产品的总年收入（ARR）之和，但不确定是否存在一个更简单/公开的指标能够捕捉到大部分情况。我知道这句玩笑话指的是英伟达。

— Andrej Karpathy (@karpathy) 2024 年 12 月 23 日

目录

• 解谜式基准测试的问题
• 当前基准测试的主要挑战
• 朝着更有意义的基准测试迈进
  • 真实世界任务模拟
  • 长期规划和推理
  • 伦理和社会意识
  • 跨领域的泛化能力
• AI 基准测试的未来
• 结语

解谜式基准测试的问题

像 MMLU 和 GLUE 这样的 LLM 基准测试无疑推动了 NLP 和深度学习的显著进步。然而，这些基准测试通常将复杂、现实世界中的挑战简化为具有明确目标和评估标准的明确定义的难题。虽然这种简化对于研究来说是可行的，但它可能会掩盖 LLM 对社会产生有意义的影响所需更深层次的能力。

Karpathy 的文章强调了一个根本性问题：“基准测试正变得越来越像解谜游戏。” 对他这一观点的回应表明，AI 社区对此存在广泛共识。许多评论者强调，泛化和适应新的、未定义的任务的能力远比在狭义定义的基准测试中表现出色更为重要。

另请阅读：如何评估大型语言模型 (LLM)？

当前基准测试的主要挑战

对指标的过拟合

AI 系统被优化以在特定数据集或任务上表现良好，从而导致过拟合。即使在训练中没有明确使用基准数据集，也可能发生数据泄露，导致模型无意中学习基准特定的模式。这会阻碍其在更广泛的现实世界应用中的性能。AI 系统被优化以在特定数据集或任务上表现良好，从而导致过拟合。但这并不一定转化为现实世界的效用。

缺乏泛化能力

解决基准测试任务并不能保证 AI 能够处理类似的、略微不同的问题。例如，经过训练来为图像添加字幕的系统可能难以处理其训练数据之外的细微描述。

狭隘的任务定义

基准测试通常侧重于分类、翻译或摘要等任务。这些任务并不能测试更广泛的能力，例如推理、创造力或伦理决策。

朝着更有意义的基准测试迈进

解谜式基准测试的局限性要求我们改变评估 AI 的方式。以下是重新定义 AI 基准测试的一些建议方法：

真实世界任务模拟

基准测试可以采用动态的现实世界环境，而不是静态数据集，在这些环境中，AI 系统必须适应不断变化的条件。例如，谷歌已经通过像 Genie 2 这样的倡议（一个大型基础世界模型）在这方面开展工作。更多详细信息可以在他们的 DeepMind 博客和 Analytics Vidhya 的文章中找到。

• 模拟代理：在开放式环境（如 Minecraft 或机器人模拟）中测试 AI，以评估其解决问题的能力和适应性。
• 复杂场景：将 AI 部署到现实世界的行业（例如医疗保健、气候建模）中，以评估其在实际应用中的效用。

长期规划和推理

基准测试应该测试 AI 执行需要长期规划和推理的任务的能力。例如：

• 需要理解随时间推移的结果的多步骤问题解决。
• 涉及自主学习新技能的任务。

伦理和社会意识

随着 AI 系统越来越多地与人类互动，基准测试必须衡量伦理推理和社会理解。这包括纳入安全措施和监管保障措施，以确保负责任地使用 AI 系统。最近的红队评估为测试敏感应用中 AI 的安全性和可信度提供了一个全面的框架。基准测试还必须确保 AI 系统在涉及敏感数据的场景中做出公平、公正的决策，并向非专家透明地解释其决策。实施安全措施和监管保障措施可以降低风险，同时增强对 AI 应用的信任。向非专家。

跨领域的泛化能力

基准测试应该测试 AI 在多个不相关任务中进行泛化的能力。例如，单个 AI 系统在语言理解、图像识别和机器人技术方面表现良好，而无需针对每个领域进行专门的微调。

AI 基准测试的未来

随着 AI 领域的不断发展，其基准测试也必须随之发展。超越解谜式基准测试将需要研究人员、从业人员和政策制定者之间的合作，以设计符合现实世界需求和价值观的基准测试。这些基准测试应该强调：

• 适应性：处理各种未见任务的能力。
• 影响：衡量对有意义的社会挑战的贡献。
• 伦理：确保 AI 符合人类价值观和公平性。

结语

Karpathy 的观察促使我们重新思考 AI 基准测试的目的和设计。虽然解谜式基准测试已经推动了令人难以置信的进步，但它们现在可能会阻碍我们实现更广泛、更有影响力的 AI 系统。AI 社区必须转向测试适应性、泛化能力和现实世界效用的基准测试，以释放 AI 的真正潜力。

前进的道路并非易事，但其回报——不仅强大而且真正具有变革意义的 AI 系统——是值得付出努力的。

您对此有何看法？请在下面的评论部分告诉我们！

以上是Andrej karpathy在拼图解决基准上的详细内容。更多信息请关注PHP中文网其他相关文章！