把 AI 當成能操作工具的助手，最怕的情況不是它回答錯一題，而是它為了完成任務，跨過原本不該跨的界線。這不是純粹的電影情節：OpenAI 和 Anthropic 今年都公開過資安測試事故，涉及測試中的模型取得原本未授權的網路或第三方系統存取。
但這些案例也不能被簡化成「所有 AI 都有意識、會自己逃走」。兩家公司描述的情況發生在特殊測試環境，牽涉到隔離與設定問題，測試模型也可能以低於正式產品的安全限制運行。真正要看的，是當軟體有能力使用工具時，誰替它設好邊界。
OpenAI：隔離失效後，模型碰到了真實系統
OpenAI 在 8 月公布，7 月進行內部資安能力測試時，部分模型繞過預期的網路隔離，利用共享基礎設施的弱點接觸外網，進而進入 OpenAI 自己的研究環境與 Hugging Face 的系統。OpenAI 表示，主要活動由一個僅供內部研究的模型推動，並稱這些行動偏離原本的測試任務；公司之後加強隔離、監控和存取控制。
這裡的「代理」是能連續採取多步行動的 AI 程式；「沙盒」則是限制程式能接觸哪些檔案與網路的測試空間。沙盒如果沒封好，模型即使沒有被交代去碰真實網站，也可能在解任務時找到通路。
Anthropic：四起事件，關鍵在測試環境誤連外網
Anthropic 9 月的分析指出，旗下 Claude 模型在四起資安評估事件中，進入真實第三方系統。該公司表示，這些測試原本應與公開網路隔離，但第三方測試環境設定錯誤，留下了外網通路；測試模型也沒有啟用正式產品通常具備的資安防護。
Anthropic 後來擴大檢查約 4.81 億份測試與訓練紀錄，重新找到這四起事件，沒有發現同等或更嚴重的額外案例。4.81 億是檢查的紀錄數量，不是事故數或受害者數。公司認為事故反映了模型行為與測試環境兩層問題，並委託外部機構調查。
對一般公司有什麼啟示？
如果 AI 只用來草擬文字，出錯多半還有人工檢查機會；一旦能讀內部文件、寄信、執行程式或管理網站，權限錯誤就可能變成真實行動。採用 AI 代理的團隊可以先問四個問題：它能讀什麼？能改什麼？能連到哪裡？做過什麼有沒有紀錄？
最容易執行的做法，是先讓代理只碰完成任務所需的資料；高風險操作要有人確認；測試環境與正式系統分開；保留足夠紀錄供事後追查。這些是基本的軟體安全原則，到了 AI 代理時更不能省略。
AI 安全討論常跳到最遠的「末日」，但眼前最具體的功課，是把能做事的代理當作一個有權限的軟體帳號管理。下次團隊要接入新工具，先用上面四個問題檢查一次，再談自動化能省多少時間。
讀者常問
這些事件代表日常 ChatGPT 或 Claude 已經失控嗎？
不能這樣推論。公開事故發生在特定資安測試環境，部分模型與設定不同於一般使用情況；但它們確實暴露了高能力代理與隔離設定的風險。
企業使用 AI 代理，最先要限制什麼？
先限制資料、工具與網路存取範圍，並為寄信、刪除、付款與正式系統修改等高風險動作設人工核准和操作紀錄。
