2026 年 11 月 19 到 20 日,桌面 AI agent 從示範影片走進作業系統:Google 在 Gemini Mac app 推出 Computer Use,能在獨立背景視窗裡操作 Mac 應用程式、填表單、整理本機檔案;TechCrunch 報導蘋果正在開發自己的 Mac agent;Signal 則宣布在 iOS 27 與 Android 封鎖截圖,理由是 OS 層級的 AI agent 可以直接讀取解密後的螢幕畫面,繞過端到端加密。Meta 的 Muse agent 之前正是透過使用者授權的輔助功能與 macOS 截圖權限,讀到了 Signal 對話內容。
如果你是一般 Mac 使用者,現在要面對的問題很實際:該開哪一個 agent?權限該怎麼給?這篇整理三款桌面 agent 的真實狀態與一套今晚就能做完的權限設定流程。
先設定權限,再決定要開哪個 agent
等 Gemini Computer Use 開放到你的地區(目前英文/美國先推),先練好權限設定基本功,再給 app 層級的存取允許。
要自動化重複流程,Claude Computer Use 的沙盒虛擬機架構仍是可控性最高的選項,隔離環境出事也不影響真實桌面。
目前只有報導、沒有產品。值得觀察的是它上線時有沒有提供 Signal 要求的「app 層級排除 AI agent」開關。
這週發生了什麼
三件事在同兩天內發生,共同定義了桌面 agent 時代的起點:
- Google 正式推出桌面自動化:根據 Google 官方公告,Gemini Mac app 的 Computer Use 功能讓使用者描述目標後,由 Gemini 負責點擊、輸入、操作選單與表單。整個過程在獨立背景視窗執行,附即時預覽,使用者的螢幕與游標不受干擾。使用者可以選擇 Gemini 能存取哪些 app、即時看到每一步、隨時暫停,關鍵動作執行前需要批准。首波以英文在美國上線。
- 蘋果的 agent 傳聞:TechCrunch 報導蘋果正在開發能操作 Mac 的自有 AI agent。平台持有者做 agent,優勢是系統層級存取深度,爭議是同時當裁判與選手。這仍是未證實的報導,沒有產品、沒有測試版、沒有上市時間。
- 隱私防禦同步登場:Signal 向 Reuters 表示,已在 iOS 27 與 Android 上阻擋截圖,防止 AI agent 讀取私密對話,並稱這是隱私的「存亡威脅」。理由是 OS 層級 agent 能擷取螢幕內容,等於繞過端到端加密,直接從畫面拿到解密後的訊息。Signal 也坦言 macOS 截圖無法可靠阻擋,並要求 Apple、Google、微軟提供 app 層級的 agent 排除開關。
三款桌面 agent 比較
| Agent | 狀態(2026/11) | 適合誰 | 權限模型 | 主要風險 |
|---|---|---|---|---|
| Gemini Computer Use(Mac app) | 英文/美國先上線 | 想把重複雜務交給背景 agent 的一般使用者 | app 層級允許清單+即時預覽+關鍵動作批准 | 長流程多 app 任務的可靠性仍待驗證;台灣用戶可能還用不到 |
| Claude Computer Use | API 與 Claude app 可用 | 開發者、進階用戶的自動化流程 | 沙盒虛擬機(API)或螢幕確認機制 | 長任務的 API 成本累加;VM 模式與真實桌面隔離,不適合直接操作本機檔案 |
| Apple 內建 agent | 僅媒體報導 | 未來可能追求深度 OS 整合的人 | 未知,推測是系統層級授權 | 一切規格皆為推測;OS 內建元件最難稽核也最難拒絕 |
Gemini Computer Use:目前唯一正式上線的消費級選項
三款之中,只有 Gemini 是以消費產品形式出貨、且內建完整權限控管。Google 的設計選擇值得理解,因為它會成為這個類別的基準線:
- 獨立背景視窗:agent 在獨立視窗工作,你的真實桌面不受干擾,行為也全程可觀察。
- app 層級允許清單:由你決定 Gemini 能碰哪些 app。這是最重要的設定:按任務需求逐一授權,任務結束後收回。
- 即時預覽與暫停:每一步都看得見,隨時可中斷,關鍵動作執行前需要人工批准。
Google 的示範情境——批次修圖、從本機 PDF 填出貨單、組簡報——屬於日常雜務等級。尚未被證明的是跨多 app 的長流程可靠性,以及遇到模糊介面狀態時的處理品質。早期使用者建議把它當成處理邊界明確任務的助手,而不是自主同事。
給台灣讀者的實務提醒:英文/美國先行的上線順序代表你可能還沒有存取權,非英文介面的表現也未經測試。不要為了用不到的功能先重排工作流程。
Claude Computer Use:開發者與進階用戶的沙盒路線
Anthropic 的 Computer Use 上線最久,架構立場也截然不同:API 形式下,agent 操作的是沙盒虛擬機,一個乾淨隔離的環境。隔離本身就是安全特性——agent 就算出錯,損害範圍也限於 VM,碰不到你的真實檔案、密碼或通訊錄。
代價同樣來自這個設計:VM 模式需要你先建置 agent 的工作環境,適合在受控空間自動化已知流程,而不是直接指揮你正在用的桌面。長時間自主循環會持續消耗 API 額度,任務長度上限仍受上下文長度制約。它最強的場景是可重複、可驗證的流程:表單提交、跨固定網站的資料輸入、建置版的 QA 檢查——人類可以在旁看著 VM 並確認成果。
如果你在打造 agent 工作流程,這仍是最可控的起點;如果你想讓 agent 整理你真實的本機檔案,這個形狀就不合適。
Apple 內建 agent:等待並觀察
TechCrunch 的報導描寫的是一個擁有系統層級存取的蘋果自有 agent。隱私影響是一體兩面:深度整合可能帶來明顯更好的可靠性,而蘋果在 Signal 公開施壓後,確實有誘因做出 Signal 要求的 app 層級排除機制。同一個整合也會讓蘋果的 agent 成為最難稽核、最難拒絕的選項——OS 內建元件索取權限的方式,和第三方 app 完全不同。
現在沒有購買決策可做,只有一個政策決策:等蘋果真的出貨時,看它是否附帶 Signal 要求的排除開關,再決定在你的機器上給它多少存取權。
macOS 權限設定清單
不管你最後用哪個 agent,以下設定決定了你得到的是有用助手還是憑證小偷。清單反映的是 2026 年 11 月攻擊的實際手法——Muse agent 正是透過輔助功能與 macOS 截圖權限讀到 Signal 對話:
- 螢幕錄製與輔助使用按 app 授權,不要全開。這兩項在 macOS 的「系統設定 → 隱私權與安全性」裡管理。agent 需要它們才能看畫面,但你擁有的每個 app 它都沒必要看。每月檢視一次,移除不再使用的項目。
- 把密碼管理員與網銀排除在外。任何桌面 agent 任務都不需要你的密碼管理員、鑰匙圈或網銀視窗。能設就設 app 層級拒絕,跑 agent 前先關閉敏感 app。密碼管理員的基本盤設定可參考本站的密碼管理器與 2FA 指南。
- 假設 macOS 截圖擋不住。這是 Signal 官方的說法。對話必須保密的話,就不要出現在跑著可截圖 agent 的機器上。
- 前幾次執行全程觀看。開著即時預覽與批准模式跑完前十個任務。如果 agent 提議出乎預期的步驟(開啟通訊錄、讀無關資料夾),代表它的授權範圍太大。
- 工作與個人環境分離。最便宜有效的隔離,是開一個獨立的 macOS 使用者帳號或 VM 專門跑 agent 雜務,讓失控的環節一開始就接觸不到有價值的東西。團隊情境的背景常駐行程盤點,可參考本站的AI 程式工具背景常駐 daemon 盤點。
常見問題
Gemini Computer Use 台灣現在能用嗎?
根據 Google 公告,首波以英文在美國上線。台灣用戶目前可能沒有存取權,非英文介面的可用性也未經測試。建議直接查看 Gemini Mac app 的官方說明頁面確認最新開放範圍。
Signal 封鎖截圖是什麼意思?跟 Mac 有關嗎?
Signal 在 iOS 27 與 Android 上阻擋截圖,防止 AI agent 讀取解密後的對話內容。但 Signal 官方明說 macOS 截圖無法可靠阻擋,桌面端目前只能靠使用者自己管好 agent 權限。
Apple 的 Mac agent 什麼時候出?
目前只有 TechCrunch 的報導,蘋果沒有正式宣布產品、測試版或時程。一切規格與時間都屬推測,不建議根據傳聞做採購或工作流程決策。
已經裝了會操作螢幕的 agent,該檢查什麼?
到「系統設定 → 隱私權與安全性」逐一檢視螢幕錄製與輔助使用清單,移除不再使用的項目;確認密碼管理員、網銀、通訊軟體不在 agent 可及範圍;之後跑 agent 時全程觀看前幾次執行。
給 app 輔助使用權限代表什麼?
輔助使用權限讓 app 能「看」你的螢幕並「操作」介面元素,等於把鍵盤與滑鼠交給它。Meta Muse 事件顯示,使用者安裝時隨手批准的廣泛權限,足以讓 agent 讀到私密對話。授權前請假設它會用到你給的全部權限。
結論
桌面 agent 本週正式進入作業系統,安全模型也跟著起步——Signal 封鎖截圖只是第一波反制。給美國用戶的建議是:用 Gemini Computer Use,但按 app 授權、全程觀看、遠離你的機密。給台灣用戶的建議是:先把權限設定練好,等地區開放。給所有人的底線是:選那個權限看得見、控得住的 agent。資料來源:The Decoder(Google Computer Use 公告整理)、TechCrunch(Apple agent 報導)、The Decoder(Signal 封鎖截圖報導)。