人類計算機使用：AI助手接管您的計算機

Anthropic的Claude AI具有控制計算機的能力：革命性更新使Claude可以通過“查看”屏幕來瀏覽桌面，單擊，輸入和滾動。此Beta功能正在改變AI與軟件的互動，有望提高生產率。安全仍然是至關重要的，因為人類探索了這一技術的潛力。

目錄

• 為什麼人類專注於計算機使用？
• 教AI屏幕互動
• 平衡創新與安全
• 人類的計算機使用如何工作
• 人類計算機使用的功能
• 局限性和挑戰
• 與Claude一起探索計算機使用：方法和示例
• 使用消息API
• 參考實現：Docker容器
• 與Docker設置計算機
• 測試計算機使用
• 人類QuickStarts應用程序
• 補充快速部署
• 用例
• 結論
• 常見問題

為什麼關注計算機使用？

大多數日常任務都發生在計算機上。使AI能夠使用像人類這樣的軟件可以解鎖巨大的可能性。這消除了對自定義工具的需求，從而允許任何程序的無縫導航。它建立在AI邏輯和圖像識別方面的進步基礎上，開為以前不可能的壯舉的開門。

教AI屏幕互動

克勞德（Claude）的計算機使用技能是由創新和技術專長的融合而產生的。利用多模式功能，研究人員培訓了克勞德（Claude）來解釋計算機屏幕，將視覺數據轉化為動作。一個關鍵的挑戰是光標控制的精確像素測量。從簡單的軟件開始，Claude將這些技能推廣，表現出令人驚訝的解決問題的能力和自我糾正。儘管訓練很複雜，但結果令人印象深刻，在OSWorld等基準測試中取得了最新的性能，儘管仍然遠非人類的準確性。

平衡創新與安全

每個AI的進步都引起了安全問題。儘管這種能力並非固有地提高認知能力，但它降低了現實應用程序的障礙。安全評估將克勞德（Claude）置於AI安全2級，表明不需要額外的保障措施。但是，未來的進步可能會擴大風險，需要積極的減輕脆弱性，例如解決“及時注射”攻擊。 Anthropic的信任與安全團隊積極監控潛在的濫用，實施濫用檢測和任務指導。鼓勵開發人員遵循最佳實踐，並優先考慮數據隱私； Claude默認情況下未對用戶數據或屏幕截圖進行培訓。

人類的計算機使用：如何工作

1。工具和提示：在您的API請求中包括擬人定義的工具，並提供明確的提示（例如，“將貓圖片保存到我的桌面上”）。

2.工具選擇： Claude評估提示並選擇適當的工具，創建工具使用請求（格式的API調用）。 stop_reason字段指示使用工具。

3。工具執行和結果：該工具在容器或VM上執行，將結果通過tool_result塊返回Claude。

4。迭代問題解決： Claude迭代分析結果，確定進一步的工具需求並重複直到完成任務完成，類似於GPT的經過想法的推理。

功能

克勞德可以處理：

1. 文件操作：訪問和編輯Excel文件，保存屏幕截圖。
2. 表單自動化：填充表格，自動數據輸入。
3. 網絡刮擦：使用自然語言提取網站信息。

局限性和挑戰

• 意外行動：克勞德可能會執行無關緊要的任務，從而導致延遲。
• 無限循環：無需解決的重複操作，消耗資源。
• 風險情景：敏感操作期間的錯誤可能會帶來嚴重的後果。

與Claude一起探索計算機使用

文檔詳細信息通過消息API啟用計算機使用。

使用消息API

消息API允許編程指令發送，使Claude能夠安全地利用計算資源。您指定權限，輸入和環境。

代碼示例（說明性）：

導入擬人化

＃...（API密鑰設置）...

響應= client.beta.messages.create（
    型號=“ Claude-3-5-Sonnet-20241022”，
    ＃...（工具定義和消息）...
）

打印（響應）

Docker容器實現

Docker容器簡化了設置，提供了一個一致的環境。這是擬人化的推薦方法。

與Docker設置計算機

1. 安裝Docker：遵循Docker的安裝指南。確保啟用虛擬化支持。
2. 獲取API鍵：從人類控制台獲取API鍵。
3. 設置Docker容器：使用提供的Docker命令，用您的API鍵代替佔位符並根據需要調整路徑。
4. 訪問應用程序：通過瀏覽器中的映射端口訪問應用程序。
5. 監視使用：跟踪API信用消耗。

測試計算機使用（例如，視頻嵌入將在此處）

（嵌入視頻會去這裡）

人類QuickStarts應用程序並進行補充

替代方法包括使用擬人化QuickStarts應用程序（輕巧，可擴展）或REPLIT（基於雲的即時設置）。

用例（視頻嵌入將在此處使用）

結論

Anthropic的計算機使用代表了AI自動化的重大飛躍。儘管仍然存在挑戰，但它可以改變日常計算的潛力是不可否認的。

常見問題（這些問題將包括在這裡）

以上是人類計算機使用：AI助手接管您的計算機的詳細內容。更多資訊請關注PHP中文網其他相關文章！