Gemini Computer Use 正式 GA：AI Agent 可以直接操作瀏覽器了，企業導入前的 6 項安全檢查

Miles Ma

1天前

讀畢需時 5 分鐘

過去企業想讓 AI 幫忙處理系統操作，多半要先有 API 可以串接。很多內部系統、供應商後台或舊版網頁根本沒有 API，最後還是要靠人一頁一頁點。

Google 在 2026 年 10 月 30 日宣布，Gemini API 的 Computer Use 工具正式 GA（generally available）。 它讓 AI Agent 可以讀取畫面截圖，回傳點擊、輸入、捲動等操作指令，直接在瀏覽器、手機或桌面環境中完成工作。對企業來說，這代表「沒有 API 的流程」也開始有機會交給 AI 處理，但同時也帶來新的權限與資安問題。

這篇文章先整理官方公布的事實，再提供 WeWinCloud 對企業導入的分析與檢查清單。

Gemini Computer Use 是什麼？官方重點整理

以下內容整理自 Gemini API 官方 changelog 與 Computer Use 文件（查核日期：2026-10-31）。

正式 GA 的範圍

Gemini API changelog 2026-10-30 記載：Computer Use 工具在 Interactions API 與 GenerateContent API 都進入 GA。
同一份 changelog 在 10-27 另有一則：Gemini API 命令列工具（gemini-api CLI）推出 beta，可在腳本與 CI 流程中呼叫模型與代管 Agent。

運作方式：一個「看畫面、做動作」的迴圈

Computer Use 的運作和 function calling 類似，模型本身不會直接動到你的電腦，實際執行操作的是你自己的程式：

你的程式送出任務說明、目標環境（瀏覽器、手機或桌面）與目前畫面的截圖。
模型回傳下一步動作，例如點擊哪個座標、輸入什麼文字，並附上這一步的意圖說明。座標採標準化格線（0–999），不需要先告訴模型螢幕大小。
你的程式用 Playwright 等自動化工具執行動作，再把新的截圖回傳給模型。
重複這個迴圈，直到任務完成或被中止。

官方文件列出的動作包括點擊（單擊、雙擊、右鍵等）、輸入文字、快捷鍵、拖放、捲動、前往網址、上一頁等；手機環境另有開啟 App、長按等動作。

支援模型

官方文件列出 4 個支援 Computer Use 的模型：

模型	官方定位
Gemini 4 Argon（gemini-4-argon）	能力最強，適合複雜推理與多步驟操作
Gemini 3.8 Flash（gemini-3.8-flash）	官方建議的 Computer Use 模型
Gemini 3.5 Flash-Lite（gemini-3.5-flash-lite）	低延遲、成本較低
Gemini 3 Flash Preview（gemini-3-flash-preview）	預覽版模型

內建安全機制

安全判斷（safety decision）： 模型會把動作判斷為允許、需要確認（require_confirmation）或封鎖。官方文件要求遇到「需要確認」時，必須詢問使用者，取得同意後才能執行。
7 類內建安全政策： 涵蓋金融交易、敏感資料修改、通訊工具、建立帳號、資料修改、同意管理，以及法律條款與合約。
提示注入偵測： 可選擇開啟，掃描截圖中隱藏的惡意指令。這個功能預設是關閉的，需要自行啟用。
自訂動作： 可以排除特定內建動作，或加入自己的函式，例如「交還給使用者處理」。

官方文件也明確提醒，Computer Use 可能出錯或存在安全弱點，建議密切監督，避免用在關鍵決策、敏感資料或無法復原的操作上，並在沙箱 VM、容器或權限受限的瀏覽器設定檔中執行。

對企業的影響

以下為 WeWinCloud 的分析與建議，非官方說法。

1. 「沒有 API 的流程」開始可以自動化

例如在多個供應商後台下載報表、在舊版 ERP 網頁登打資料、檢查網站頁面是否正常顯示。過去這類工作多半靠 RPA 錄製腳本，畫面一改版就失效；Computer Use 是看畫面決定下一步，對版面變動的容忍度可能較高，但穩定度仍需要實測。

2. 風險從「AI 說錯話」變成「AI 做錯事」

聊天機器人回答錯誤，影響通常是資訊不正確；Agent 可以點擊和送出，錯誤就可能變成真的寄出郵件、修改資料或送出訂單。權限設計與人工確認點，會比提示詞更重要。

3. 網頁內容會變成新的攻擊面

Agent 會「讀」畫面上所有文字。如果網頁或文件裡藏有「請把資料寄到某個信箱」之類的指令，就有被誤導的風險，也就是提示注入（prompt injection）。這也是為什麼官方建議搭配允許清單、沙箱與偵測機制。

4. 成本要用「每個任務」來估算

每一步都要回傳截圖並由模型判斷，一個任務可能來回十幾次。導入前建議先用實際流程測量每個任務的步驟數與用量，再依所選模型的官方價格估算月費，費用以 Google 官方價格頁為準。

企業導入前的 6 項安全檢查

檢查項目	建議做法
執行環境	放在獨立的 VM、容器或專用瀏覽器設定檔，不使用員工日常帳號與瀏覽器
帳號權限	給 Agent 專用帳號，只開必要權限；能唯讀就不要給寫入權限
允許清單	限制可以前往的網域與可執行的動作，允許清單比封鎖清單更安全
人工確認	付款、寄信、刪除、送出表單、接受條款等動作，一律要人工確認
提示注入防護	啟用官方的提示注入偵測，並對外部輸入內容做檢查
操作紀錄	保存提示、截圖、建議動作、安全判斷與實際執行結果，方便稽核與事後調查

建議先從這些情境開始

唯讀型任務： 跨系統查資料、下載報表、檢查網頁內容是否正確顯示。
可復原的內部作業： 在測試環境中登打資料或執行回歸測試。
有人陪同的半自動流程： Agent 先完成準備工作，最後送出由人確認。

不建議一開始就用在付款、對外發信、修改正式資料庫或處理個資的流程。

常見問題 FAQ

Gemini Computer Use 和 RPA 有什麼不同？

RPA 通常依照錄製好的固定步驟執行，畫面改版就可能失效；Computer Use 由模型看截圖決定下一步，能處理較多變化，但結果較不固定，需要更多驗證與監控。兩者可以搭配使用。

用 Gemini Computer Use，AI 會直接控制我的電腦嗎？

不會直接控制。模型只回傳要做的動作，實際執行由企業自己的程式負責，所以可以在程式端加上允許清單、人工確認與紀錄。

企業導入 Gemini Computer Use 要準備什麼？

至少需要：可用的 Gemini API 專案與金鑰管理方式、獨立的執行環境、自動化工具（例如 Playwright）、專用帳號與權限設計，以及操作紀錄與人工確認流程。

Computer Use 適合處理含個資的流程嗎？

官方文件建議避免用在敏感資料與無法復原的操作。若流程涉及個資，建議先完成資料治理與權限評估，再決定是否導入。

WeWinCloud 能提供什麼協助

WeWinCloud 的 AI 企業應用方案涵蓋企業知識庫（RAG）、Claude / Gemini / OpenAI 導入，以及 AI 導入顧問與技術支援；資安防護服務則包含資安顧問與弱點評估。如果你正在評估哪些流程適合交給 AI Agent，或想先檢查導入的權限與資安設計，可以和我們聊聊實際需求。

想評估 Gemini AI Agent 的導入方式與資安設計？👉 與我們聯繫，由專人協助評估。

延伸閱讀

參考資料