AI 에이전트의 과대광고와 현실: GPT-4는 이를 지원조차 할 수 없으며 실제 작업의 성공률은 15% 미만입니다.

대규모 언어 모델의 지속적인 진화와 자체 혁신에 따라 성능, 정확성, 안정성이 크게 향상되었으며 이는 다양한 벤치마크 문제 세트를 통해 검증되었습니다.

그러나 기존 LLM 버전의 경우 포괄적인 기능이 AI 에이전트를 완전히 지원하지 못하는 것 같습니다.

다중 모달, 다중 작업 및 다중 도메인 추론은 공공 미디어 공간의 AI 에이전트에 대한 필수 요구 사항이 되었지만 특정 기능 사례에서 표시되는 실제 효과는 크게 다릅니다. 이는 모든 AI 로봇 스타트업과 거대 기술 대기업들이 현실을 인식하고, 좀 더 현실적으로, 너무 큰 폭으로 퍼뜨리지 말고, AI 강화 기능부터 시작해야 한다는 점을 다시 한 번 일깨워주는 것 같습니다.

최근 AI 에이전트의 홍보와 실제 성과 사이의 격차를 다룬 한 블로그에서는 "AI 에이전트는 홍보에서는 거대하지만 현실은 매우 나쁘다"는 점을 강조했습니다. 이 문장은 이에 대한 많은 사람들의 견해를 정확하게 표현합니다. AI 기술. 과학과 기술의 지속적인 발전으로 AI에는 눈길을 끄는 많은 기능이 부여되었습니다. 그러나 실제 응용에서는 종종 문제가 발생하며

자율적인 AI 에이전트가 복잡한 작업을 수행할 수 있는 배경이 발생했습니다. 큰 걱정이 들었습니다. LLM은 외부 도구 및 기능과 상호 작용하여 사람의 개입 없이 다단계 워크플로를 완료할 수 있습니다.

하지만 예상보다 더 어려운 일이었습니다.

WebArena 리더보드는 실무 에이전트의 성과를 평가하기 위한 실제적이고 재현 가능한 네트워크 환경입니다. 실제 작업에서 LLM 에이전트의 성능을 벤치마킹한 결과, 가장 성능이 뛰어난 모델이라도 성공률은 35.8%에 불과한 것으로 나타났습니다.

WebArena는 실제 작업에서 LLM 에이전트의 성능에 대한 벤치마크 테스트 결과 순위를 매겼습니다. SteP 모델은 성공률 지표에서 35.8%에 도달하여 가장 좋은 성능을 보인 반면, 잘 알려진 GPT-4의 성공은 비율은 14.9%에 불과했다.

AI 에이전트란 ​​무엇인가요?

"AI 에이전트"라는 용어는 실제로 정의되지 않았으며 에이전트가 정확히 무엇인지에 대한 많은 논란이 있습니다.

AI 에이전트는 "환경에서 작업을 수행하는 방법에 대해 높은 수준의 결정을 내릴 수 있는 기능(일반적으로 RAG 환경에서 함수 호출)이 부여된 LLM"으로 정의할 수 있습니다. 현재 AI 에이전트를 구축하는 데는 두 가지 주요 아키텍처 방법이 있습니다.

단일 에이전트: 하나의 대형 모델이 전체 작업을 처리하고 포괄적인 컨텍스트 이해를 기반으로 모든 결정과 작업을 수행합니다. 이 방법은 대형 모델의 새로운 힘을 활용하고 작업 분해로 인한 정보 손실을 방지합니다.

1. 다중 에이전트 시스템: 작업을 하위 작업으로 나누고 각 하위 작업은 더 작고 전문화된 에이전트에 의해 처리됩니다. 제어 및 테스트가 어려운 하나의 큰 일반 에이전트를 사용하는 대신 여러 개의 작은 에이전트를 사용하여 특정 하위 작업에 적합한 전략을 선택할 수 있습니다. 이 접근 방식은 컨텍스트 창의 길이 제한이나 다양한 기술 세트의 필요성과 같은 실질적인 제약으로 인해 때때로 필요합니다.
2. 이론적으로 무한한 맥락 길이와 완벽한 주의력을 갖춘 단일 에이전트가 이상적입니다. 짧은 컨텍스트로 인해 다중 에이전트 시스템은 주어진 문제에 대해 항상 단일 시스템보다 성능이 떨어집니다.

실제 과제

AI 에이전트에 대한 수많은 시도를 목격한 저자는 AI 에이전트가 아직 너무 시기상조이고 비용이 많이 들고 느리고 신뢰할 수 없다고 생각합니다. 많은 AI 에이전트 스타트업은 에이전트 제품화 경쟁을 시작하기 위해 모델 혁신을 기다리고 있는 것 같습니다.

실제 애플리케이션에서 AI 에이전트의 성능은 충분히 성숙하지 않아 부정확한 출력, 불만족스러운 성능, 높은 비용, 보상 위험, 사용자 신뢰 확보 불가능 등의 문제에 반영됩니다.

• 신뢰성: LLM은 환각과 불일치에 취약한 것으로 알려져 있습니다. 여러 AI 단계를 연결하면 특히 정확한 출력이 필요한 작업의 경우 이러한 문제가 악화될 수 있습니다.
• 성능 및 비용: GPT-4, Gemini-1.5 및 Claude Opus는 도구/함수 호출에서 우수한 성능을 발휘하지만 특히 루프 및 자동 재시도가 필요한 경우 여전히 느리고 비용이 많이 듭니다.
• 법적 문제: 회사는 대리인의 오류에 대해 책임을 질 수 있습니다. 최근 사례에서 에어캐나다는 항공사의 챗봇에 의해 오해를 받은 고객에게 보상하라는 명령을 받았습니다.
• 사용자 신뢰: AI 에이전트 및 유사한 예의 "블랙박스" 특성으로 인해 사용자가 결과를 이해하고 신뢰하기가 어렵습니다. 결제 또는 개인 정보(예: 청구서 지불, 쇼핑 등)와 관련된 민감한 작업 중에는 사용자 신뢰를 얻는 것이 어렵습니다.

실제 시도

현재 다음 스타트업이 AI 에이전트 분야에 진출하고 있지만 대부분은 아직 실험 단계이거나 초대 전용입니다.

• adept.ai - $350 백만 달러가 모금되었지만 액세스는 여전히 매우 제한적입니다.
• MultiOn - 자금 상태를 알 수 없으며 API 우선 접근 방식이 유망해 보입니다.
• HypeWrite - $280만 모금, AI 글쓰기 보조원으로 시작하여 나중에 에이전트로 확장되었습니다.
• minion.ai - 처음에는 주목을 받았지만 지금은 대기자 명단만 남아 휴면 상태입니다.

그 중 멀티온만이 AI 에이전트의 약속에 더 부합하는 '지시하고 실행을 관찰하는' 방식을 추구하는 것으로 보입니다.

다른 모든 회사는 신뢰성을 보장하기 위해 현 단계에서 필요할 수 있는 RPA(기록 및 재생) 경로를 가고 있습니다.

동시에 일부 대기업에서는 데스크톱과 브라우저에 AI 기능을 도입하고 있으며 시스템 수준에서 기본 AI 통합을 얻을 것으로 보입니다.

OpenAI는 운영 체제 화면과 상호 작용하는 Mac 데스크톱 앱을 발표했습니다.

Google I/O에서 Google은 쇼핑 반품을 자동화하는 Gemini를 시연했습니다.

Microsoft는 개발자가 AI 에이전트 로봇을 구축할 수 있는 Copilot Studio를 발표했습니다.

이러한 기술 시연은 인상적이며 사람들은 이러한 에이전트 기능이 엄선된 시연 사례에 국한되지 않고 공개적으로 출시되고 실제 시나리오에서 테스트될 때 어떻게 수행되는지 기다려 볼 수 있습니다.

AI 에이전트는 어느 길로 갈까요?

저자는 다음과 같이 강조합니다. "AI 에이전트는 과대평가되었으며 대부분은 업무상 중요한 용도로 사용할 준비가 되어 있지 않습니다."

그러나 기본 모델과 아키텍처의 급속한 발전에도 불구하고 그는 사람들이 여전히 사용할 수 있다고 말했습니다. 보다 성공적인 실제 적용을 기대합니다.

AI 에이전트의 가장 유망한 경로는 다음과 같습니다.

• 단기적으로는 광범위한 완전 자율형 독립형 서비스를 제공하기보다는 AI로 기존 도구를 강화하는 데 초점을 맞춰야 합니다.
• 인간-기계 협업 방식을 통해 인간이 엣지 케이스 감독 및 처리에 참여할 수 있습니다.
• 현재 능력과 한계를 바탕으로 현실적인 기대치를 설정하세요.

엄격하게 제한된 LLM, 우수한 평가 데이터, 인간-기계 공동 감독 및 전통적인 엔지니어링 방법을 결합하면 자동화와 같은 복잡한 작업에서 안정적이고 좋은 결과를 얻을 수 있습니다.

AI 에이전트가 웹 스크래핑, 양식 작성, 데이터 입력 등 지루하고 반복적인 작업을 자동화할 수 있을까요?

저자: "네, 물론입니다."

그렇다면 AI 에이전트가 사람의 개입 없이 자동으로 휴가를 예약할까요?

저자: "적어도 가까운 미래에는 그럴 가능성이 없습니다."

위 내용은 AI 에이전트의 과대광고와 현실: GPT-4는 이를 지원조차 할 수 없으며 실제 작업의 성공률은 15% 미만입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!