2026 年 11 月 19 到 20 日,桌面 AI agent 從示範影片走進作業系統:Google 在 Gemini Mac app 推出 Computer Use,能在獨立背景視窗裡操作 Mac 應用程式、填表單、整理本機檔案;TechCrunch 報導蘋果正在開發自己的 Mac agent;Signal 則宣布在 iOS 27 與 Android 封鎖截圖,理由是 OS 層級的 AI agent 可以直接讀取解密後的螢幕畫面,繞過端到端加密。Meta 的 Muse agent 之前正是透過使用者授權的輔助功能與 macOS 截圖權限,讀到了 Signal 對話內容。

如果你是一般 Mac 使用者,現在要面對的問題很實際:該開哪一個 agent?權限該怎麼給?這篇整理三款桌面 agent 的真實狀態與一套今晚就能做完的權限設定流程。

快速結論

先設定權限,再決定要開哪個 agent

一般使用者

等 Gemini Computer Use 開放到你的地區(目前英文/美國先推),先練好權限設定基本功,再給 app 層級的存取允許。

開發者/進階用戶

要自動化重複流程,Claude Computer Use 的沙盒虛擬機架構仍是可控性最高的選項,隔離環境出事也不影響真實桌面。

Apple 內建 agent

目前只有報導、沒有產品。值得觀察的是它上線時有沒有提供 Signal 要求的「app 層級排除 AI agent」開關。

這週發生了什麼

三件事在同兩天內發生,共同定義了桌面 agent 時代的起點:

  • Google 正式推出桌面自動化:根據 Google 官方公告,Gemini Mac app 的 Computer Use 功能讓使用者描述目標後,由 Gemini 負責點擊、輸入、操作選單與表單。整個過程在獨立背景視窗執行,附即時預覽,使用者的螢幕與游標不受干擾。使用者可以選擇 Gemini 能存取哪些 app、即時看到每一步、隨時暫停,關鍵動作執行前需要批准。首波以英文在美國上線。
  • 蘋果的 agent 傳聞:TechCrunch 報導蘋果正在開發能操作 Mac 的自有 AI agent。平台持有者做 agent,優勢是系統層級存取深度,爭議是同時當裁判與選手。這仍是未證實的報導,沒有產品、沒有測試版、沒有上市時間。
  • 隱私防禦同步登場:Signal 向 Reuters 表示,已在 iOS 27 與 Android 上阻擋截圖,防止 AI agent 讀取私密對話,並稱這是隱私的「存亡威脅」。理由是 OS 層級 agent 能擷取螢幕內容,等於繞過端到端加密,直接從畫面拿到解密後的訊息。Signal 也坦言 macOS 截圖無法可靠阻擋,並要求 Apple、Google、微軟提供 app 層級的 agent 排除開關。
重點:你選的 agent 決定了機器上哪個軟體能看見什麼——包括那些原本靠加密保護的內容。

三款桌面 agent 比較

Agent狀態(2026/11)適合誰權限模型主要風險
Gemini Computer Use(Mac app)英文/美國先上線想把重複雜務交給背景 agent 的一般使用者app 層級允許清單+即時預覽+關鍵動作批准長流程多 app 任務的可靠性仍待驗證;台灣用戶可能還用不到
Claude Computer UseAPI 與 Claude app 可用開發者、進階用戶的自動化流程沙盒虛擬機(API)或螢幕確認機制長任務的 API 成本累加;VM 模式與真實桌面隔離,不適合直接操作本機檔案
Apple 內建 agent僅媒體報導未來可能追求深度 OS 整合的人未知,推測是系統層級授權一切規格皆為推測;OS 內建元件最難稽核也最難拒絕

Gemini Computer Use:目前唯一正式上線的消費級選項

三款之中,只有 Gemini 是以消費產品形式出貨、且內建完整權限控管。Google 的設計選擇值得理解,因為它會成為這個類別的基準線:

  • 獨立背景視窗:agent 在獨立視窗工作,你的真實桌面不受干擾,行為也全程可觀察。
  • app 層級允許清單:由你決定 Gemini 能碰哪些 app。這是最重要的設定:按任務需求逐一授權,任務結束後收回。
  • 即時預覽與暫停:每一步都看得見,隨時可中斷,關鍵動作執行前需要人工批准。

Google 的示範情境——批次修圖、從本機 PDF 填出貨單、組簡報——屬於日常雜務等級。尚未被證明的是跨多 app 的長流程可靠性,以及遇到模糊介面狀態時的處理品質。早期使用者建議把它當成處理邊界明確任務的助手,而不是自主同事。

給台灣讀者的實務提醒:英文/美國先行的上線順序代表你可能還沒有存取權,非英文介面的表現也未經測試。不要為了用不到的功能先重排工作流程。

Claude Computer Use:開發者與進階用戶的沙盒路線

Anthropic 的 Computer Use 上線最久,架構立場也截然不同:API 形式下,agent 操作的是沙盒虛擬機,一個乾淨隔離的環境。隔離本身就是安全特性——agent 就算出錯,損害範圍也限於 VM,碰不到你的真實檔案、密碼或通訊錄。

代價同樣來自這個設計:VM 模式需要你先建置 agent 的工作環境,適合在受控空間自動化已知流程,而不是直接指揮你正在用的桌面。長時間自主循環會持續消耗 API 額度,任務長度上限仍受上下文長度制約。它最強的場景是可重複、可驗證的流程:表單提交、跨固定網站的資料輸入、建置版的 QA 檢查——人類可以在旁看著 VM 並確認成果。

如果你在打造 agent 工作流程,這仍是最可控的起點;如果你想讓 agent 整理你真實的本機檔案,這個形狀就不合適。

Apple 內建 agent:等待並觀察

TechCrunch 的報導描寫的是一個擁有系統層級存取的蘋果自有 agent。隱私影響是一體兩面:深度整合可能帶來明顯更好的可靠性,而蘋果在 Signal 公開施壓後,確實有誘因做出 Signal 要求的 app 層級排除機制。同一個整合也會讓蘋果的 agent 成為最難稽核、最難拒絕的選項——OS 內建元件索取權限的方式,和第三方 app 完全不同。

現在沒有購買決策可做,只有一個政策決策:等蘋果真的出貨時,看它是否附帶 Signal 要求的排除開關,再決定在你的機器上給它多少存取權。

macOS 權限設定清單

不管你最後用哪個 agent,以下設定決定了你得到的是有用助手還是憑證小偷。清單反映的是 2026 年 11 月攻擊的實際手法——Muse agent 正是透過輔助功能與 macOS 截圖權限讀到 Signal 對話:

  1. 螢幕錄製與輔助使用按 app 授權,不要全開。這兩項在 macOS 的「系統設定 → 隱私權與安全性」裡管理。agent 需要它們才能看畫面,但你擁有的每個 app 它都沒必要看。每月檢視一次,移除不再使用的項目。
  2. 把密碼管理員與網銀排除在外。任何桌面 agent 任務都不需要你的密碼管理員、鑰匙圈或網銀視窗。能設就設 app 層級拒絕,跑 agent 前先關閉敏感 app。密碼管理員的基本盤設定可參考本站的密碼管理器與 2FA 指南。
  3. 假設 macOS 截圖擋不住。這是 Signal 官方的說法。對話必須保密的話,就不要出現在跑著可截圖 agent 的機器上。
  4. 前幾次執行全程觀看。開著即時預覽與批准模式跑完前十個任務。如果 agent 提議出乎預期的步驟(開啟通訊錄、讀無關資料夾),代表它的授權範圍太大。
  5. 工作與個人環境分離。最便宜有效的隔離,是開一個獨立的 macOS 使用者帳號或 VM 專門跑 agent 雜務,讓失控的環節一開始就接觸不到有價值的東西。團隊情境的背景常駐行程盤點,可參考本站的AI 程式工具背景常駐 daemon 盤點。

常見問題

Gemini Computer Use 台灣現在能用嗎?

根據 Google 公告,首波以英文在美國上線。台灣用戶目前可能沒有存取權,非英文介面的可用性也未經測試。建議直接查看 Gemini Mac app 的官方說明頁面確認最新開放範圍。

Signal 封鎖截圖是什麼意思?跟 Mac 有關嗎?

Signal 在 iOS 27 與 Android 上阻擋截圖,防止 AI agent 讀取解密後的對話內容。但 Signal 官方明說 macOS 截圖無法可靠阻擋,桌面端目前只能靠使用者自己管好 agent 權限。

Apple 的 Mac agent 什麼時候出?

目前只有 TechCrunch 的報導,蘋果沒有正式宣布產品、測試版或時程。一切規格與時間都屬推測,不建議根據傳聞做採購或工作流程決策。

已經裝了會操作螢幕的 agent,該檢查什麼?

到「系統設定 → 隱私權與安全性」逐一檢視螢幕錄製與輔助使用清單,移除不再使用的項目;確認密碼管理員、網銀、通訊軟體不在 agent 可及範圍;之後跑 agent 時全程觀看前幾次執行。

給 app 輔助使用權限代表什麼?

輔助使用權限讓 app 能「看」你的螢幕並「操作」介面元素,等於把鍵盤與滑鼠交給它。Meta Muse 事件顯示,使用者安裝時隨手批准的廣泛權限,足以讓 agent 讀到私密對話。授權前請假設它會用到你給的全部權限。

結論

桌面 agent 本週正式進入作業系統,安全模型也跟著起步——Signal 封鎖截圖只是第一波反制。給美國用戶的建議是:用 Gemini Computer Use,但按 app 授權、全程觀看、遠離你的機密。給台灣用戶的建議是:先把權限設定練好,等地區開放。給所有人的底線是:選那個權限看得見、控得住的 agent。資料來源:The Decoder(Google Computer Use 公告整理)、TechCrunch(Apple agent 報導)、The Decoder(Signal 封鎖截圖報導)。