搜索
首页科技周边人工智能AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%

按照大语言模型的持续进化和自我革新,性能、准确度、稳定性都有了大幅的提升,这已经被各个基准问题集验证过了。

但是,对于现有版本的 LLM 来说,它们的综合能力似乎并不能完全支撑得起 AI 智能体。

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%


多模态、多任务、多领域推断已成为 AI 智能体在公共传媒空间内的必须要求,但是在具体的功能实践中所展现的真实效果却差异强烈。这似乎再次提醒各个 AI 智能体初创公司以及大型科技巨头认清现实:脚踏实地一点,先别把摊子铺得太大,从 AI 增强功能开始做起。

近日,一篇关于AI智能体在宣传和真实表现上的差距的博客中,强调了一个观点:“AI智能体在宣传上是个巨人,而现实却很不妙。”这句话准确地表达了很多人对AI技术的看法。随着科技的不断进步,AI被赋予了许多令人瞩目的特点和能力,然而实际应用中却经常出现一些问题和

自主 AI 智能体能够够执行复杂任务的背景已经引起极大的兴奋。通过与外部工具和功能的交互,LLMs 可以在没有人为干预的情况下完成多步骤的工作流程。

但现实证明,这比预期的要更具挑战性。

WebArena排行榜是一个真实可复现的网络环境,用于评估实用智能体的性能。对LLM智能体在现实任务中的表现进行了基准测试,结果显示即使是表现最好的模型,成功率也只有35.8%。

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%

WebArena 排行榜对 LLM 智能体在现实任务中的表现进行的基准测试结果:SteP 模型在成功率指标上表现最为良好,达到了 35.8%,而知名的 GPT-4 的成功率仅达到了 14.9%。

什么是 AI 智能体?

「AI 智能体」这个术语并没有真正被定义,对智能体究竟是什么也存在很多的争议。

AI 智能体可以定义为「一个被赋予行动能力的 LLM(通常在 RAG 环境中进行函数调用),以便在环境中对如何执行任务做出高层次的决策。」

当前,构建 AI 智能体主要有以下两种架构方法:

  1. 单一智能体:一个大型模型处理整个任务,并基于其全面的上下文理解做出所有决策和行动。这种方法利用了大型模型的涌现能力,避免了将任务分解所带来的信息丢失。
  2. 多智能体系统:将任务分解为子任务,每个子任务由一个更小、更专业的智能体处理。与尝试使用一个难以控制和测试的大型通用智能体相比,人们可以使用许多更小的智能体来为特定子任务选择正确的策略。由于上下文窗口长度的限制或不同技能组合的需要等实际约束,这种方法有时是必要的。

理论上,具有无限上下文长度和完美注意力的单一智能体是理想的。由于上下文较短,在特定问题上,多智能体系统总是比单一系统效果差。

实践中的挑战

在见证了许多 AI 智能体的尝试之后,作者认为它们目前仍为时过早、成本过高、速度过慢且不够可靠。许多 AI 智能体初创公司似乎在等待一个模型突破,以开启智能体产品化的竞赛。

AI 智能体在实际运用中的表现并不够成熟,这体现在输出不精确、性能差强人意、成本较高、赔偿风险、无法获得用户信任等问题:

  • 可靠性:众所周知,LLMs 容易产生幻觉和不一致性。将多个 AI 步骤连接起来会加剧这些问题,尤其是对于需要精确输出的任务。
  • 性能和成本:GPT-4、Gemini-1.5 和 Claude Opus 在使用工具 / 函数调用方面表现不错,但它们仍然较慢且成本高,特别是如果需要进行循环和自动重试时。
  • 法律问题:公司可能需要对其智能体的错误负责。最近的一个例子是,加拿大航空被命令向一位被航空公司聊天机器人误导的客户赔偿。
  • 用户信任:AI 智能体的「黑箱」性质以及类似示例使得用户难以理解和信任其输出。在涉及支付或个人信息的敏感任务中(如支付账单、购物等),赢得用户信任将会很困难。

现实世界中的尝试

目前,以下几家初创公司正在涉足 AI 智能体领域,但大多数仍处于实验阶段或仅限邀请使用:

  • adept.ai - 融资 3.5 亿美元,但访问权限仍然非常有限。
  • MultiOn - 融资情况未知,他们的 API 优先方法看起来很有前景。
  • HypeWrite - 融资 280 万美元,起初是一个 AI 写作助手,后来扩展到智能体领域。
  • minion.ai - 最初引起了一些关注,但现在已经沉寂,仅有等候名单。

它们中似乎只有 MultiOn 在追求「给出指令并观察其执行」的方法,这与 AI 智能体的承诺更为一致。

其他所有公司都在走记录和重放的 RPA(record-and-replay)路线,这在现阶段可能是为保证可靠性所必需的。

同时,一些大公司也在将 AI 功能带到桌面和浏览器,并且看起来将会在系统层面上获得本地的 AI 集成。

OpenAI 宣布了他们的 Mac 桌面应用程序,可以与操作系统屏幕互动。

在 Google I/O 大会上,Google 演示了 Gemini 自动处理购物退货。

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%

微软宣布了 Copilot Studio,它将允许开发人员构建 AI 智能体机器人。

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%

这些技术演示令人印象深刻,人们可以拭目以待这些智能体功能在公开发布并在真实场景中测试时的表现,而不是仅限于精心挑选的演示案例。

AI 智能体将走向哪条路?

作者强调:「AI 智能体被过度炒作了,大多数还没有准备好用于关键任务。」

然而,随着基础模型和架构迅速进步,他表示人们仍可以期待看到更多成功的实际应用。

AI 智能体最有前途的前进道路可能是这样的:

  • 近期的重点应放在利用 AI 增强现有工具,而不是提供广泛的全自主独立服务。
  • 人机协同的方法,让人类参与监督和处理边缘案例。
  • 根据当前的能力和局限,设定不脱离现实的期望。

通过结合严格约束的 LLMs、良好的评估数据、人机协同监督和传统工程方法,就可以在自动化等复杂任务方面实现可靠且良好的结果。

对于 AI 智能体是否会自动化乏味重复的工作,例如网络抓取、填表和数据录入?

作者:「是的,绝对会。」

那 AI 智能体是否会在没有人们干预的情况下自动预订假期?

作者:「至少在近期内不太可能。」


以上是AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
微软工作趋势指数2025显示工作场所容量应变微软工作趋势指数2025显示工作场所容量应变Apr 24, 2025 am 11:19 AM

由于AI的快速整合而加剧了工作场所的迅速危机危机,要求战略转变以外的增量调整。 WTI的调查结果强调了这一点:68%的员工在工作量上挣扎,导致BUR

AI可以理解吗?中国房间的论点说不,但是对吗?AI可以理解吗?中国房间的论点说不,但是对吗?Apr 24, 2025 am 11:18 AM

约翰·塞尔(John Searle)的中国房间论点:对AI理解的挑战 Searle的思想实验直接质疑人工智能是否可以真正理解语言或具有真正意识。 想象一个人,对下巴一无所知

中国的'智能” AI助手回应微软召回的隐私缺陷中国的'智能” AI助手回应微软召回的隐私缺陷Apr 24, 2025 am 11:17 AM

与西方同行相比,中国的科技巨头在AI开发方面的课程不同。 他们不专注于技术基准和API集成,而是优先考虑“屏幕感知” AI助手 - AI T

Docker将熟悉的容器工作流程带到AI型号和MCP工具Docker将熟悉的容器工作流程带到AI型号和MCP工具Apr 24, 2025 am 11:16 AM

MCP:赋能AI系统访问外部工具 模型上下文协议(MCP)让AI应用能够通过标准化接口与外部工具和数据源交互。由Anthropic开发并得到主要AI提供商的支持,MCP允许语言模型和智能体发现可用工具并使用合适的参数调用它们。然而,实施MCP服务器存在一些挑战,包括环境冲突、安全漏洞以及跨平台行为不一致。 Forbes文章《Anthropic的模型上下文协议是AI智能体发展的一大步》作者:Janakiram MSVDocker通过容器化解决了这些问题。基于Docker Hub基础设施构建的Doc

使用6种AI街头智能策略来建立一家十亿美元的创业使用6种AI街头智能策略来建立一家十亿美元的创业Apr 24, 2025 am 11:15 AM

有远见的企业家采用的六种策略,他们利用尖端技术和精明的商业敏锐度来创造高利润的可扩展公司,同时保持控制权。本指南是针对有抱负的企业家的,旨在建立一个

Google照片更新解锁了您所有图片的惊人Ultra HDRGoogle照片更新解锁了您所有图片的惊人Ultra HDRApr 24, 2025 am 11:14 AM

Google Photos的新型Ultra HDR工具:改变图像增强的游戏规则 Google Photos推出了一个功能强大的Ultra HDR转换工具,将标准照片转换为充满活力的高动态范围图像。这种增强功能受益于摄影师

Descope建立AI代理集成的身份验证框架Descope建立AI代理集成的身份验证框架Apr 24, 2025 am 11:13 AM

技术架构解决了新兴的身份验证挑战 代理身份集线器解决了许多组织仅在开始AI代理实施后发现的问题,即传统身份验证方法不是为机器设计的

Google Cloud Next 2025以及现代工作的未来Google Cloud Next 2025以及现代工作的未来Apr 24, 2025 am 11:12 AM

(注意:Google是我公司的咨询客户,Moor Insights&Strateging。) AI:从实验到企业基金会 Google Cloud Next 2025展示了AI从实验功能到企业技术的核心组成部分的演变,

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具