以新世代 AI Agent 加速釋放企業智慧應用潛能
從企業主、主管到員工,無一不體認到 AI 的大勢所趨。過去的企業管理是企業主及主管的課題,但現今蓬勃發展的 AI Agent,讓企業的每一份子都可能成為 AI Agent 的管理者。
台灣微軟表示,AI 為企業帶來的改變可區分為三個階段。目前絶大多數處於第一階段,由 AI Agent 如 Copilot 來協助工作,主要扮演顧問的角色。
至於第二階段的重點,則是建立更多人類/AI Agent 的共同協作團隊,例如:GitHub 發布的 Coding Agent 就可以在 CI/CD 對其指派工作,配合規格書、架構書來產出程式碼,乃至於後續的測試及部署;到了第三階段,將是人類主導大方向,AI 助手執行的協作模式。因此,Agentic AI 的發展也已箭在弦上。
涵蓋 IaaS、PaaS 及 SaaS 的解決方案藍圖
隨著 AI 與工作和生活愈來愈密不可分,微軟分別從 IaaS、PaaS 和 SaaS 三個技術層次,以三種路徑協助企業快速打造 AI Agent。值得一提的是,微軟旗下服務包括 GitHub、Copilot Studio、Azure AI Foundry 都已支援 MCP(Model Context Protocol),企業過去數十年累積開發的 API,以及內外部的 SaaS 服務與應用程式,這些大量的資產如何立即被生成式 AI 所使用,皆有賴於在大型語言模型與應用程式之間架起溝通橋樑的 MCP。
微軟在 IaaS 層次提供框架型的 AutoGen 和 Semantic Kernel,這些由微軟團隊支援的開源工具和 SDK 可為企業帶來立即可用且穩定的解決方案。由於 MCP 目前在安全性仍有不足之處,因此,Azure API Management 可在企業打造 MCP 伺服器時提供一致化的管理方式,並補足安全性、日誌檔、監控及稽核等相關課題;亦可快速將 API 轉化為 MCP 伺服器,結合權限控管、負載平衡等機制,加速 AI Agent 的整合及調度。
PaaS 層次的主力技術則是 Azure AI Foundry,主要針對專業開發者。AI Agent 有多重面向必須考慮,需要各式各樣的工具(Tool)來賦予 AI Agent 執行力,需要結合向量檢索、全文檢索和各種來源提供企業的領域知識,搭配各種大型語言模型及 MCP 等協定。Azure AI Foundry 則以整合式平台來協助快速打造企業級的 Agent。
SaaS 層次的主力技術是 Copilot Studio。由於 AI Agent 的應用面向很廣,可以是個人助理,也可以專為企業特定應用場景所設計,Copilot Studio 以低程式碼開發平台的特色,讓一般使用者無需瞭解底層技術架構與資源配置,只需選擇資料和行動,就能快速打造所需 Agent。Copilot Studio 內建許多現成的工作流程和發佈管道,集結最常用的功能元件,透過拖拉點選的方式來套用。

以 AI 改造銀行內部客服系統
台北富邦銀行是全台灣第一家使用 Microsoft 365 及首批使用 Copilot 的金融業者,與微軟在先進技術的合作關係更已擴及企業 AI 應用的開發及部署。
台北富邦商業銀行數位科技研發部部長鄭仁豪表示:「對銀行而言,AI 並非新議題,但生成式 AI 帶來了新的應用場景,我們對此重新定義了 AI 應用的三個主軸,首先是包括風險可控及合規在內的安全性,其次是客戶體驗的提升,第三則是將 AI 服務及體驗同樣帶給內部員工,智慧內部客服系統『富幫手』也應運而生。」
無論是面對外部客戶或是內部同仁,台北富邦銀行都設立了相對應的客服團隊,目前全行每月承作超過千萬筆交易,每月接聽的內外服務電話高達數萬通,回應的數位網頁諮詢也多達數萬筆,這些全都需要投入大量人力及時間來進行處理,因此,如何善用 AI 來做為輔助,就成為首要之務。
分析台北富邦銀行內部客服的進線電話,有 3 成是相對簡單及標準化的問題,從 SOP 就能找到答案,例如:企業入口網站密碼相關、個人電腦操作設定;另外 7 成則是系統交易相關或需要人工判斷的複雜問題,例如:交易回覆錯誤訊息、欄位檢核。
對此,第一階段的作法是提供智慧客服對話框,訓練聊天機器人來解決佔 3 成的常見問答。第二階段則是善用模型技術的快速進展,透過介接銀行文件庫、多模態文本解析等作法,以自動化服務來解決更複雜的問題,目標是減少進話量達 50%。未來的第三階段則計畫是以 AI Agent 直接串接內部系統或表單。
台北富邦銀行使用 Copilot Studio、Azure OpenAI、Azure AI Search 等技術方案,結合檢索增強生成(RAG)之技術架構來匯整銀行內部既有的知識庫如 QA、文件庫,讓使用者可快速找到自己所需的資料。除了微軟的協助,還有杏碩資訊負責提供系統整合與落地支持,三方聯手完成資料串接、模型微調及安全控管,成功打造高效、穩定且符合法規的智慧助手。

目前,「富幫手」內嵌於 Microsoft Teams,並運行於 Azure Landing Zone。鄭仁豪部長說:「我們的要求是能在台灣落地的雲服務,可針對服務品質與可用性簽署服務水準協議(SLA),並能提供安全穩定的系統運行環境,這也是我們選擇與微軟合作的原因。」

以雲原生架構強化系統韌性
致力提升消費者體驗的華碩電腦官網,每個月來自全球的服務流量遠遠超過數百 TB,為亞太地區流量最高的網站之一,目前已導入最先進 Azure OpenAI、Azure AI Search 和 Azure API Management 來回答用戶許多有關產品、保固、諮詢、行銷優惠等問題。採用 Multi-Agent 技術架構的 ASUS AI Assistant 獲選為 2025 Microsoft Build 大會的企業成功研發典範,對於許多已經或即將建置 AI 助理系統的企業而言,華碩電腦網站服務在前瞻性、研發整合與系統韌性的成功經驗相當值得借鏡參考。
華碩基礎架構維運團隊主管許庭魁就「從雲原生架構看 AI Assistant 的效能、擴展性與韌性設計」議題分享,以 Azure 雲原生架構支持 AI Assistant 運算資源需求,必備前提是具備成本優勢的系統韌性,除了避免在雲端及地端過度配置資源,當系統處於異常狀況或部分故障時,仍需維持 SLA 水準。因此,建議可從高可用性、效能調校、安全防禦等三個面向持續優化系統韌性。
高可用性的重點在於認知到系統必然會故障的最壞打算,但要做到即使出現問題也能讓系統持續運行的最好準備,包括自動擴展、跨區部署與自動復原等機制。華碩基於服務特性、維運靈活度等考量並未選擇自動擴展,而是採取自定義規則來進行擴展,同時搭配使用區域備援、多區部署等作法。

效能調校的重點,在於從設計之初就必須將效能內化到每個決策細節—Performance by Design。尤其在惡意攻擊觸發 WAF 防火牆的防禦機制之前,必須先靠基礎架構撐過第一擊,阻擋第一波甚或第二波惡意流量,這也是效能調校之所以重要的原因。其成功關鍵特別仰賴跨部門跨開發團隊協同合作,透過 Application Insight 提供統一可視性平台,讓不同研發團隊能快速分析並持續優化,帶給消費者絕佳體驗,也正是華碩追尋無與倫比的價值展現。並透過微軟的協助,ASUS AI Assistant 將去年亞洲尚未釋出的 LLM 經由 Azure Private Link 從瑞典轉到東日本,有效加快回應速度達 40%。
至於安全防禦的重點,從基礎架構的觀點來看,目標是保護最昂貴、最難擴展的關鍵資源,包括資料庫與 LLM。實務作法是以多層過濾機制層層攔截惡意流量,但使用 AI 技術的攻擊則可避開過濾及攔截,因此,即時更新、隨時調校到最新的防禦機制如 JA4 是必要措施。
根據微軟 2025 工作趨勢指數報告顯示,有 80% 的企業主認同生成式 AI,但因技術更新速度過快,高達 60% 的企業主對於 AI 計畫與願景覺得徨惑。而員工對 AI 的應用腳步則已領先於企業,超過八成受訪者已在工作中使用 AI,並體認到善用 AI 有助於改善職涯競爭力及發展可能性。隨著 AI Agent 與 Agentic AI 的快速崛起,企業也必須如同員工一般擴大使用及善用工具,加快發展腳步。
延伸閱讀
- 取得電子書《AI 實踐:透過應用程式和 Agents 創造更好的體驗》,了解如何為您的 AI 架構建立穩固基礎,提供客戶更個人化的互動體驗與自動化日常任務,並在 Azure 上打造規模化且可靠的 AI 解決方案。
- 取得《打造智慧應用:團隊整備工具包》,掌握技能、工具、最佳實務等關鍵資源,協助團隊高效且安全地建置與現代化 AI 驅動的智慧應用。