邊緣運算與 AI 整合趨勢

本文由人工智慧模型生成，僅為參考之用。

1. 以規劃旅遊為例的 AI Agent

Anthropic 的 Claude 以及 Google 的 Gemini 已具備讀取螢幕內容的能力，使使用者在零介入情況下即可完成搜尋景點、安排交通、預訂飯店與餐廳等一系列流程（Lee, 2023）。

Claude 在去年推出的電腦使用功能被視為打造 AI Agent 的基石（Kreiger, 2024）。然而，此類任務需要大量 token，導致算力與成本顯著增加（Lee, 2023）。

「若所有運算過程都上傳至雲端，算力消耗將極為驚人。」黃俊達指出，若將所有畫面串流至伺服器，即使會員數百萬也相當於同時觀看數百萬部 YouTube 影片，網路負荷難以負荷（Lee, 2023）。

2. 邊緣運算需在地端先行處理

預期未來趨勢是先在地端進行資料處理後，經過壓縮再將關鍵資訊傳送至雲端，從而實現成本、效率與資安的協同（Lee, 2023）。

軟硬體層面仍面臨多重關卡。簡立峰指出，當 AI 應用在雲端運行成本過高，業者便會動心將運算轉移至地端，藉以「省錢」(Lee, 2023)。

真正的突破口還需在手機與筆電上找到契合的應用場景，例如遊戲中的智慧 AI NPC、相機 AI 功能再進化等，才能帶動邊緣產業的繁榮（Lee, 2023）。

3. 邊緣運算的優勢

• 隱私提升：資料在本地處理，減少敏感資訊外洩風險（Ambiq, 2023）。
• 即時性：離資料來源更近，延遲降低至毫秒級，可支援自駕車、工廠監控等時效性要求高的應用（Intel, 2024）。
• 節能效益：小語言模型（SLM）及低功耗硬體（如 Ambiq 的 SPOT 平台）使數天/數週充電即可完成複雜推理（Ambiq, 2023）。
• 成本效益：只需傳輸關鍵摘要至雲端，降低頻寬消耗與資料傳輸成本（Pure Storage, 2023）。

4. 小語言模型 (SLM) 推動邊緣發展

科技巨頭與新創公司紛紛釋出參數規模介於數億至數十億的模型，正是讓邊緣 AI 可行的關鍵技術（Lee, 2023）。

SLM 不僅能在有限算力的裝置上執行，還能提供足夠的語言理解能力，進一步打開多語言、跨領域應用場景（Lee, 2023）。

5. 典型應用案例

6. 混合式邊緣結合雲端的策略

• 把大模型訓練於雲端，最後在邊緣部署低功耗版本。
• 利用 AI 生成的摘要或關鍵數據進行雲端後續分析，維持精準度。
• 透過分散式 AI（DAI）將負載在邊緣、雲端與網路間靈活分配，依需求調整延遲、成本與安全（Intel, 2024）。

7. 遇到的挑戰與未來發展

• 硬體資源有限：需要針對低功耗優化 AI 模型。
• 整合複雜度高：不同供應商腳本與資料流管理需精細設計。
• 資料治理：在地端與雲端間的資料同步與版本控制。

隨著硬體成本降低、模型壓縮技術成熟，邊緣 AI 將能進入更多行業，例如農業、礦