top of page

Cloud Run GPU 工作可跑 12 小時:AI 批次推論與模型微調的成本與上線檢查

Miles Ma
6分钟前
讀畢需時 5 分鐘

很多企業開始把 AI 用在實際工作上之後,常遇到一個尷尬的需求:每天或每週要跑一次幾個小時的 GPU 工作,例如整批文件的向量化、上萬張商品圖的生成或分析、影片轉錄與摘要、或用自有資料微調小型模型。為了這幾個小時去長期租用 GPU 主機或維運 Kubernetes 叢集,成本與人力都不划算。


Google Cloud 在 2026 年 10 月 30 日的 Cloud Run 版本資訊中宣布:Cloud Run jobs 搭配 GPU 現在可以執行最長 12 小時(Preview)。這讓「用完即釋放」的 Serverless GPU 可以涵蓋更多長時間的批次工作。本文先整理官方已公布的事實,再說明企業該怎麼評估與上線。



新聞重點:Cloud Run GPU 工作可執行 12 小時


以下內容整理自 Google Cloud 官方文件(查核日期:2026-11-01,文件更新日 2026-10-30)。


官方公布的內容


  • 執行時間: Cloud Run jobs 啟用 GPU 時,任務逾時(task timeout)上限為 12 小時,目前為 Preview(Pre-GA) 功能,依 Google Cloud 說明屬「依現況提供」、支援可能有限。一般 CPU 工作的任務逾時上限則是 168 小時(7 天),預設為 10 分鐘。

  • GPU 型號: NVIDIA L4(24 GB VRAM)與 NVIDIA RTX PRO 6000 Blackwell(96 GB VRAM),每個執行個體 1 顆 GPU,驅動程式為 580.x.x(CUDA 13.0)。

  • 最低資源: L4 需至少 4 vCPU、16 GiB 記憶體;RTX PRO 6000 需至少 20 vCPU、80 GiB 記憶體。

  • 啟動速度: 官方說明已預裝驅動程式的執行個體約 5 秒即可啟動並使用 GPU,不需要事先預留。

  • 冗餘設定: Jobs 只支援「非區域冗餘」(--no-gpu-zonal-redundancy),故障轉移屬盡力而為,沒有保留備援容量,但每 GPU 秒的價格較低。


支援區域與配額


項目

NVIDIA L4

NVIDIA RTX PRO 6000

VRAM

24 GB

96 GB

最低 CPU/記憶體

4 vCPU/16 GiB

20 vCPU/80 GiB

亞太區可用區域

asia-southeast1(新加坡);asia-south1(孟買,僅限受邀)

asia-southeast1(新加坡)、asia-south2(德里)

其他區域

europe-west1、europe-west4、us-central1、us-east4

europe-west4、us-central1

首次自動配額

3 顆 GPU(非區域冗餘)

3,000 milliGPU(3 顆)


配額是以專案為單位,計算同一區域內所有 services、jobs 與 worker pools 同時使用的 GPU 數。平行度(parallelism)乘以每個任務的 GPU 數若超過配額,部署會失敗,需要先在主控台申請提高配額。


值得台灣企業注意的是: 依官方文件,目前 Cloud Run GPU 的支援區域不包含台灣(asia-east1)。亞太地區最接近的是新加坡。



對企業有什麼影響


以下為 WeWinCloud 的分析與建議,非官方說法。


1. 長時間 AI 批次工作有了不用維運叢集的選項


過去 Cloud Run GPU 比較適合推論 API 或短時間任務;長達數小時的工作多半要用 Compute Engine GPU 主機或 GKE。12 小時的上限讓下列工作可以考慮直接放在 Cloud Run jobs:


  • 整批文件或知識庫的向量化(Embedding),作為企業 RAG 的資料前處理

  • 影片轉錄、字幕產生、影像分析等影音批次處理

  • 使用開源模型做離線批次推論(例如每日報表摘要、客服紀錄分類)

  • 小型模型的微調或 LoRA 訓練(需搭配 checkpoint,見下文)


2. 計費方式要看清楚:GPU 以整個執行個體生命週期計費


官方文件說明,GPU 以執行個體的完整生命週期計費,費用也和設定的 CPU、記憶體有關;jobs 只有在任務執行時才產生費用。另外,啟用重試時,逾時時間是「每次嘗試」各自計算,失敗的嘗試同樣會計入 GPU 時間。也就是說,最壞情況的 GPU 時間大約是「逾時 × (重試次數 + 1)」。實際單價請以 Cloud Run 定價頁與 Google Cloud 計價工具為準。


3. 資料所在地與合規要先確認


由於 GPU 區域不在台灣,資料需要送到新加坡或其他區域處理。若資料涉及個資、醫療或金融等受規範資料,應先確認內部政策與合約是否允許跨境處理,並規劃 Cloud Storage 的區域、加密金鑰與存取權限。對批次工作來說,延遲通常不是問題,但跨區域資料傳輸費用要納入估算。


4. 不保證不中斷,程式要設計成可續跑


官方文件明確表示:任務逾時是上限而不是保證,GPU 任務不支援即時遷移,維護時可能被終止,數小時的任務應預期至少會被中斷一次。這是決定能不能直接搬上去的關鍵。



上線前檢查清單


以下整理自 Google Cloud 長時間 GPU 工作教學,並加入 WeWinCloud 的實務建議。


程式設計


  1. 定期儲存 checkpoint: 把進度寫到持久性儲存(例如掛載的 Cloud Storage bucket),重新啟動時從最後一個 checkpoint 接續。

  2. 安全寫入: 先寫到暫存檔再改名,避免寫到一半失敗時覆蓋掉上一個正常的 checkpoint。

  3. 處理 SIGTERM: 官方說明收到 SIGTERM 後約只有 10 秒,只適合存少量狀態,不能依賴它存完整進度。

  4. 工作拆分: 能切成多個任務平行處理的,就不要寫成一個 12 小時的大任務,失敗重跑的代價也比較小。


部署設定


設定

建議

說明

--task-timeout

依實際需要設定,GPU 上限 12 小時

不要直接設成上限,避免異常時空轉

--max-retries

超過 1 小時的 GPU 工作建議 3 次

官方不建議設 0,維護中斷時會無聲失敗

--parallelism

低於可用 GPU 配額

超過配額會部署失敗

--no-gpu-zonal-redundancy

必填

Jobs 只支援非區域冗餘

服務帳戶

專用、最小權限

只給 checkpoint bucket 與必要資源的權限


成本控管


  • 先用小批次資料實測單次執行時間,再推估月費用,並把重試的最壞情況算進去。

  • 設定預算與告警,監看 GPU 工作的執行次數與時長。

  • 比較 Cloud Run jobs、Compute Engine GPU 主機與 GKE:工作頻率高、幾乎全天在跑的,固定主機或承諾使用折扣可能更划算;偶發、尖峰型的工作,Serverless 的「用完即釋放」較有優勢。

  • Preview 功能不建議直接用在有嚴格交付時限的正式流程,可先從內部批次工作試行。



常見問題 FAQ


Cloud Run GPU 可以跑多久?


依 Google Cloud 文件,Cloud Run jobs 啟用 GPU 時任務逾時上限為 12 小時(Preview)。一般 CPU 工作上限為 168 小時。


Cloud Run GPU 在台灣區域可以用嗎?


截至 2026-11-01 查核時,官方列出的支援區域不包含 asia-east1(台灣)。亞太區可用新加坡(asia-southeast1)等區域,請以官方文件最新資訊為準。


Cloud Run GPU 工作和 Compute Engine GPU 主機怎麼選?


偶發、可以中斷續跑的批次工作適合 Cloud Run jobs;需要長時間不中斷、多 GPU 或高度客製環境的工作,Compute Engine 或 GKE 較合適。建議用實際工作量做成本比較。



WeWinCloud 能提供什麼協助


WeWinCloud 提供 AWS、GCP、Azure 雲端優惠方案與專業技術支援。在 Google Cloud 方面,我們可以協助帳號申請、折扣方案、資料分析與雲端架構;服務也包含架構規劃與上雲(系統架構設計、Migration 搬遷、高可用與備援架構)、雲端成本優化(帳單健檢與分析、資源調整與閒置優化),以及 AI 企業應用方案(企業知識庫 RAG、Gemini 等模型導入顧問)。


如果你正在評估把 AI 批次工作放上 Cloud Run GPU,或想比較不同 GPU 架構的成本,可以先和我們聊聊實際的工作量與資料需求。



想評估 Cloud Run GPU 架構與成本?👉 與我們聯繫,由專人協助規劃。



延伸閱讀



參考資料

留言


bottom of page