Anthropic 在最新的 Claude 3.5 Sonnet 中，新增名為 Computer use 的公開測試功能，讓 AI 能透過觀察螢幕、移動游標、點擊按鈕和輸入文字來操控電腦。這項功能現已在 API 上線，開發者可以指示 Claude 像人類一樣在電腦上工作。
AI 大廠競逐電腦操控技術
Microsoft Copilot Vision、OpenAI ChatGPT 桌面版和 Google Gemini Android 版都展示了 AI 透過觀察螢幕的能力，但尚未像 Anthropic 這樣廣泛發佈可執行任務的工具。
功能受限仍需改進
Anthropic 表示，Computer use 功能目前仍處於實驗階段，可能會出現操作不便和錯誤。AI 無法執行拖曳和縮放等日常電腦操作，且由於採用截圖方式觀察螢幕，可能會錯過短暫的操作或通知。同時，系統也限制了社交媒體互動和選舉相關活動。
新版 Claude 3.5 Sonnet 有進步
新版 Claude 3.5 Sonnet 在多項基準測試中都有進步，特別是在程式編寫和工具使用方面。在 SWE-bench Verified 測試中，成績從 33.4% 提升至 49%，超越所有公開型號，包括 OpenAI o1-preview。在零售領域的 TAU-bench 測試中，表現從 62.6% 提升至 69.2%，航空領域則從 36% 提升至 46%。
