GitHub 在 10 月 28 日的 Copilot app 更新公告中,將桌面軟體操作列為應用能力之一。Copilot 能讀取視窗內容、點擊按鈕、輸入及編輯文字,並在不同應用程式之間完成流程。這項功能已在 macOS 與 Windows 公開預覽,支援 Copilot app 與 Copilot CLI。

這不是 10 月 28 日才首次開放的功能。GitHub 早在 10 月 1 日就發布電腦操作預覽公告,月底則在 Universe 更新中再次說明。對使用者來說,值得注意的是它能處理哪些原本需要手動操作的工作,而不是把既有功能當成全新上市。

舊軟體沒有串接入口,也有機會交給代理操作

許多企業系統只有視窗介面。人必須逐頁找資料、複製內容,再把結果填進另一個工具。GitHub 將這類沒有 API、命令列或 MCP 串接方式的軟體,列為電腦操作的適用情境;官方舉例包括整理舊系統資訊、修改簡報,以及跨應用程式搬移資料。

例如,整理一批待審單據時,可以先請代理讀取內容、填入指定欄位,最後停在確認畫面。這是編輯部提出的工作拆分方式,並非 Copilot 已對所有報帳系統通過測試。軟體版本、欄位設計與視窗狀態不同,都可能改變操作結果。

GitHub 的說明文件也指出,若既有 API、檔案工具或其他直接串接方式已能完成工作,通常能提供較明確的資料結構與較可預期的結果。電腦操作主要補上視覺介面流程,並非每件事都應改成模擬滑鼠。

開啟功能之後,還要界定可以做到哪一步

使用者可在 Copilot app 的設定中開啟 Computer Use,也可在工作階段輸入 /computer on。macOS 還需要設定輔助使用及螢幕錄製權限。組織管理政策若禁用這項能力,本機開啟也不能繞過限制;應用程式存取則依工具權限設定處理。

導入時可以把目標寫得具體:使用哪個軟體、整理哪一批資料、允許修改哪些欄位,以及在哪個畫面停下來。首次試用先選容易復原的任務,觀察錯誤是否出在找不到控制項、輸入位置不對,或對畫面內容理解錯誤。

官方將這項能力列為仍可能變動的公開預覽,也明確提醒動態控制項、時間差及視窗切換可能造成錯誤。評估是否省工時,應把人工檢查和修正時間一起計入。能完成一次示範,與能穩定處理每天的工作量,仍是兩種不同的驗證。