Chatgpt擊敗了Google的雙子座Claude，DeepSeek測試了AI代理商

研究公司Futuresearch評估了11種領先的大語模型，以處理其處理複雜的現實研究任務，總共89項任務。這些任務涉及尋找原始資源，尋求數據，收集證據，彙編數據和驗證索賠。

達到的最高分數為0.51，在一個假設的“完美”代理商中得分約為0.8。這表明當前的最高AI代理仍然被人類研究人員顯著超過。

該研究得出的結論是，“邊境代理……差不多的時間出色的聰明的通才研究人員”。

以下是各種AI模型的分數：

1. O3（OpenAI）：0.51
2. 克勞德3.7十四行詩（思考）：0.49
3. Claude 3.7十四行詩（STD）：0.48
4. 雙子座2.5 Pro：0.45
5. GPT-4.1L：0.42
6. DeepSeek-R1：0.31
7. Mistral Small：0.30
8. GPT-4渦輪增壓：0.27
9. Gemma 3：0.20

儘管有這些結果，AI代理仍顯示出快速改善。從一年曆史的Chatgpt-4-Turbo取得的0.27分數中，研究人員估計，“智能通才研究人員和邊境代理商之間約有45％的差距在一年內被彌合了。

此外，像DeepSeek這樣的便宜或自由推動者正在使用Openai的高級模型來縮小性能差距。雖然Openai的O3模型領先，緊隨其後的是Claude和Gemini，但封閉的模型目前在研究密集型任務中表現出色。但是，開源和免費模型變得越來越有競爭力。

但是，所有基於LLM的AI代理仍然面臨重大挑戰。他們落後於智能人類研究人員在戰略規劃，徹底性，來源質量評估和“記憶管理”方面經常忘記任務期間的早期發現。一個值得注意的問題是“滿意”，AI代理人會尋求低質量的回應，而不是尋求最佳答案。

Chatgpt的O3模型之所以排名榜首，是因為它更徹底地驗證了其答案，並且不太頻繁地解決次優響應。

鑑於精英人類和最佳AI代理商之間的近一半是一年之內關閉的，因此AI代理商可能很快就會超越最佳的人類研究人員。

然而，Chatgpt的最新模型過於愉快的最新挑戰表明，改進的途徑並不是一件直接的。

目前，至關重要的是驗證AI代理等生成AI應用程序結果的準確性。

以上是Chatgpt擊敗了Google的雙子座Claude，DeepSeek測試了AI代理商的詳細內容。更多資訊請關注PHP中文網其他相關文章！