<花想世界>特別篇｜微軟看 AI：從 ChatGPT 到 Azure OpenAI 服務

最近 AI 的話題持續相當火熱，它的成長速度也非常的驚人。也很多的新聞在討論人類會不會被 AI 取代？那當然同時也有很多朋友很好奇 ChatGPT 跟微軟有什麼關係？

所以我們特地製作了一集花想世界第三季特別篇，從微軟的角度來跟大家來聊一聊。今天請到台灣微軟總經理卞志祥 Sean，來跟我們聊一聊 ChatGPT 以及 Azure OpenAI 的服務對台灣帶來什麼樣影響，我們歡迎 Sean！

00：00 【花想世界】Podcast Intro
01：30 介紹本集來賓：台灣微軟總經理卞志祥 Sean
04：30 關於 ChatGPT 各國的新聞時事
09：00 OpenAI 跟Azure OpenAI 的差異
18：45 企業資訊外洩的疑慮
23：00 Azure OpenAI 可以提供哪些解決方案
32：00 企業是否能夠將自己的 ChatGPT 模型放在地端
39：50 台灣產業可以把握的機會點
45：32 結尾

問：整個 ChatGPT 帶來的旋風現在正在席捲各國產業，我們從新聞上有看到一些相關事件，包括一些國家以及企業的新聞時事，Sean 你怎麼看這件事情？

答：最近的熱門議題是全球知名企業因為內部員工把 source code 在 debug 的過程丟上 ChatGPT，然而此過程造成部分資料有外洩的疑慮。分兩個角度來看，第一個是認知，第二個是行為。首先大家要有一個清楚的認知，OpenAI 的使命是創造通用型 AI 或深層型 AI 來幫助人類。它會廣泛的採用全世界的語料資料或者是私人／非私人的公開資訊。

第二是對資安防範最基礎的行為。當有人員因為疏失或對資安的認知不清，將內部的資料往上拋轉時，就產生一個行為。若企業在一個正確的認知、正確的心態以及正確的行為使用，就可以比較放心的去使用 ChatGPT。

我想強調的是，其實所有的新興技術都是雙面刃，在資安方面，不管是流程或人才的教育訓練都非常重要。

問：如果企業需要更高標準、更符合企業需求的服務，其實可以考慮用的是微軟的 Azure OpenAI。Sean 要不要談一下 OpenAI 跟 Azure OpenAI 兩邊的差別是什麼？

答：OpenAI 利用廣泛的語料產生了 GPT-3.5 及 GPT-4，現在稱為大型語言模型（LLM），它是利用生成式 AI 技術訓練出來的。有點像是產生了一個人工智慧的大腦，這個大腦可以做非常多通用型的事情。

以企業應用－ Azure OpenAI 來說，可以有幾個不同的運用方式：
第一、直接把這個大腦複製一份，把這個複製大腦放進一個封閉的企業環境之中。所謂的封閉環境指的是Azure，也就是微軟的企業雲端環境，這是專屬於這個企業的環境，進出的所有訊息都受到嚴密的資安防護。
第二、把大型語言模型放到企業內部，並且有三種不同型態的應用。

1.直接將大型語言模型放在企業內部，不做任何的調整。此種模式可以讓企業員工直接運用這個語言模型去做類似 ChatGPT 的對答應用，甚至包含 Coding Debug 或者是一些通用性資訊的詢問。這樣做跟 ChatGPT 最大的的差異就是在過程中，員工所詢問的資料並不會被當成外部 ChatGPT 生成模型的再訓練語料。也就是說，所有的討論就在企業的這個專屬網域裡面發生。

2.如果再給予這個大腦產業的專業知識，那他就像是一個大學生再進修，得到更精準的專業知識。以投資金融業為例，若再餵以極為大量且即時的研究報告、產業的訊息，或者是全球股市的即時資訊時，這一個大腦就會成為投資顧問的專家。又或是餵以過去 30 萬個小時信用卡的行銷人員對答的資料，他就可以變成是一個類似行銷專員的一個角色。當企業內部或者是開放給外部的客戶詢問這個大腦時，就可以得到一個專業領域資料的回覆。

3.第三種是我不但給予企業內部的資料，更進一步利用企業資料 fine tuning 這一顆大腦，讓產業專業知識不再僅限於資料的匯入，而是大腦就經過 fine tuning，能更精準的回答／不回答某些問題，成為企業升級版的大腦。

不管哪種運用 Azure OpenAI 的方式，都是在企業內部發生。你的資料就永遠是你的資料，不會流到外面去。將所有資料、大腦以及 fine tuning 的環境是在 Microsoft Azure高度安全以及可控的環境下落實。這就是 ChatGPT 在 OpenAI 以及在 Azure OpenAI 裡面最大的不同。

問：若以旅行社的客服舉例，客戶說我要一個五天四夜的旅行、在哪個時間季節，傳統作法是客服專員要到訂位、訂房、訂車、訂飛機不同的系統。如果透過 Azure OpenAI，其實就可以很快速的產生提案甚至把這個五天四夜的計畫都做完，請問是可以達到這樣的境界嗎？

答：其實比這個更棒。Azure OpenAI 不但具有 ChatGPT 大腦的能力，還可以加上 Azure 特有的 AI 服務。延續客服專員的案例，資料可能來自於五六個不同的部門，包含客戶 360 度的資料、公司內部行銷活動資料、企業部競爭對手資料等。結合 Azure Search 功能，可以經過不同資料加強之後去了解並且定位出資料的屬性以及來源，精準告訴大型語言模型資料放在哪裡、可以如何找到。所以當今天客服專員在做生成式 AI 對話時，即可答以精準、即時且真實的資料，並且是用極為口語的方式對答，這就跟以前規則式 FAQ 有很大的不同。

若以旅行社情境舉例，比如說一個吃素的人，想在夏天到挪威旅遊，希望行程包含奇蹟岩、惡魔之舌、又希望看到極光。ChatGPT 會告訴我怎麼走，可以在哪找到素食餐廳，並且統整一個提案。

但若是客戶詢問旅行社挪威的行程，旅行社提供的資料就是精準的自己代理的旅館、路徑景點、配合的導遊的提案。這又回到企業級 Azure OpenAI 應用跟 ChatGPT 最大的不同是，企業可以餵以精準的資料內容當作來源，也不會讓 AI 回答出一個企業無法提供服務的答案，並且所有的行為都是可以符合企業的最佳利益要求，以及在一個安全合規的環境之中。

問：這裡面提到一個很關鍵的問題就是企業把大量 FAQ 放到裡面去，但一些比較高機敏性的公司或產業會擔心模型會不會被複製？或是我的模型會被微軟的 ChatGPT 拿去運用？這個部分微軟是怎麼因應的？

答：分兩個部分來回答：第一、放進 Azure 企業級 OpenAI 的那顆大腦是從我們跟 OpenAI 合作的模型之中複製出來的，所以任何在這個大腦上面做的應用以及訓練，就會在自己企業的這顆大腦裡面發生。

第二、微軟一直強調 Microsoft Cloud runs on trust，微軟承諾你的資料就是你的資料，你的資料永遠不會被其他人看到或者是運用，以及你的資料會在微軟的雲端被完整的保護。

花：微軟真的是整個公司一直在思考 run on trust 這個價值，以及如何落實到產品裡面。我想我們希望聽眾朋友們了解，企業級的服務真的要考慮的是用 Azure OpenAI，有比較好的資安防護。

問：那接著我們談談企業的部分，你覺得在這一波企業需求裡面最需要什麼樣的應用服務？Azure OpenAI 可以提供什麼樣的解決方案？

答：從企業的角度來看，我們把服務分成幾個不同的複雜等級。第一個是最簡單的運用範圍，單純把網路上的 ChatGPT 放在一個有企業服務等級 SLA 的安全合規環境，用自然語言的方式服務企業內部員工。從 HR 差勤系統、會議室預訂系統，但它不會是企業的終極目的。

企業為什麼要用 OpenAI 或者是 Azure Open AI 主要目的有四個：第一、賦能員工生產力，第二、改變傳統跟客戶互動的方式，創造產業破壞式創新，第三、加速企業內部生產或者是服務製造的流程，第四、利用這一波 AI 創新彎道超車，提供一個產業原來想像不到的服務或產品，幫助公司轉型。

因此企業需要真正了解客戶的需求和痛點，而這需要回歸到原來 AI 的領域以及流程串接。舉剛剛談到的客服案例，如果旅行社未來要走向更加擬人化，能不能直接用電話詢問的方式讓 ChatGPT 在 Azure 上面拿到企業內部的資料，然後以語言的方式回答給客戶？這個流程看似簡單，但它用到了認知型的 AI 模型，這個是微軟在 Azure 上面可以另外提供的。

這就是為什麼我們一直在強調企業等級的 OpenAI 的最大不同，除了封閉、安全、服務等級之外，我們可以把所有的服務整合在一起。

花：所以我剛剛一直聽到幾件事情，第一個是整合所有的資料，包括內部外部的資料，怎麼樣繼續讓它可以升級，以及最重要的就是資安的考量。台灣現在有很多製造業有高敏感的資訊，就可以用 Azure OpenAI 在封閉式的公司內部環境使用。

除此之外，微軟現在目前所有產品全部都加入 OpenAI 服務，包括 Microsoft 365、Teams、Power Platform，還有 Dynamics 365 中的 Copilot。Copilot 是一個副駕駛，使用者自己才是主駕駛，所有 AI 的產品都是來服務你，讓你的工作可以做得更好，更強大。

問：剛剛我們剛剛談了微軟有這麼多不同的服務可以來協助客戶，那如果今天一個企業想要建立自己的 ChatGPT，是否能夠把這個模型放在地端呢？

答：不行。如果把應用程式的作業模式完全移轉到網路上面，其實沒有享受到網路所提供的優勢以及介面，因此需要改變思維。其實 AI 只是一個工具，它真正的意義在於整合分散在各處的資料，讓它產生一個綜效性的流程改進工程，並透過這種生成式語言的對答，得到所謂的 single source of truth（單一真值來源）的答案。

而這樣子的過程其實在地端從資料的角度來看是不容易發生的。因為地端的資料就是存在孤立的設備裡面，只有把它往雲端移動才有機會做資料整合，因此 ChatGPT 模型不能放在地端。加上大型語言模型本身的複雜度、加上 tuning的機制，基本上是不能放在地端，這背後的原因與不要為了喝牛奶去買一座牧場是一樣的道理。

同時用訂閱式服務對客戶也是比較划算的方法，因為後端牽涉到整個資料中心的運作，而資料中心的營運複雜且龐大。訂閱式服務隨買隨用，不用的時候就不用繼續付費，這對於企業金流來講也是比較划算的方式。

企業負責人也會好奇成本如何？通常企業在第一個專案實作之後的回饋都是，生成式 AI 在 Azure 上面能夠帶給企業的整合型服務，能夠使人力發揮在更有價值的地方，並且讓整個上市時間縮短，以及整個作業流程生產力效率提升。以上綜效以及種種的影響放在一起之後，跟初期的投入成本相比，ROI 是非常高的，所以他們就開始進行更多專案甚至於全面導入。到目前為止幾乎每一個跟我聊過生成式 AI 在企業的可能運用的企業主，幾乎沒有一個不去做第一個初始的專案。

我也非常鼓勵企業 IT 負責人或者是企業主，嘗試完後就會找到屬於自己的最佳方程式，並發現原來把資料整合之後帶來的效益如此大。我們有相當多案例觸發企業重新思考如何使用雲端更有效率的利用企業資源，甚至是政府都在思考這個很有趣的話題。

這邊我再補充一點，通常企業主會開始再次跟我確認說，資料放上雲端並且利用開放資料來訓練或者是 tuning 的企業資料真的沒有問題嗎？我給的答案其實真的很簡單就是「Microsoft runs on trust」，如果全世界有人比你更在乎你的資料會不會外洩，那絕對會是Microsoft。而過去 10 年我們也看到全球幾乎所有大企業都把資料往雲端移動，這有點像 50 年前在談錢要放在家裡還是放在銀行會比較安全是一樣的道理。所以 5 年前很多企業會考慮資料上雲安不安全，現在客戶會考慮資料安不安全而上雲。

很多產業領導企業想通這件事情之後，開始大量擁抱 Azure OpenAI。我們會給企業三個步驟的建議。第一、認知跟行為。第二、有了認知跟基礎不洩漏的行為之後，應該去了解這個技術能夠帶來的好處、潛力跟限制在哪裡。第三、最重要的是選擇一個好的場景以及題目，真的讓 AI 尤其是生成式 AI 幫到你，然後找到對的合作夥伴，而這個合作夥伴包含微軟幫你建構 OpenAI、包含公司員工，然後再去思考如何去擴大、如何全面導入。

問：對於臺灣的產業，你覺得有什麼樣的機會點？

在未來 10 年我們會看到生成式 AI 上面會有幾個不同的角色產生。第一個是造局者的角色，所謂的造局者就是提供大型語言訓練模型，這個世界最多可能就是三到五家左右。因為大型語言的訓練需要極高的算力，極大的資金成本，並非單一公司容易達到的事情。第二是應用程式的開發者，根據產業需求並利用 OpenAI 的技術去解決這些目前遇到的難題並提供更好的服務、更便捷的流程方式等等。第三個就是終端場景的使用者。所以你可以把它看成是一個三角形的金字塔，他由造局者、應用開發者以及產品使用者和技術使用者這三個來堆疊出來。

在台灣，微軟扮演的是一個造局者的角色，而我們很多企業是最終使用者，他利用這個技術，讓企業內部流程或者是跟客戶互動的方式變得更好。但是我們也非常樂見台灣有非常多的新創企業或者是科技服務公司，利用 AI 技術產生產業內的創新，這個就是變成一個應用開發者的角色。這個開發者的角色會越來越群聚，讓生態系越來越完整。

在 Azure OpenAI 內部我們提供了非常多的 API 的管理跟外部資源資料的介接，讓這個生態系能夠串聯，並服務不同的產業。台灣的機會在於，企業在自己的產業做為使用者，譬如說製造業或金融業去讓我的企業更具競爭力之外，還可以跟新創或者是 ISV（獨立軟體廠商）合作發展成應用程式，提供服務給這個產業、國家，甚至是全人類通用性的服務。

這也是台灣產業轉型一個絕佳的契機，台灣新創相對來說的限制在於語言的隔閡或是地域的隔閡。現在雲端平台加上生成式 AI 的運用，同時打破了這兩個隔閡，所以世界會變成你的市場，每一個人都可以講他自己最擅長的語言。

結語

這是一個極佳的機會，再加上台灣最具優勢的軟硬整合以及硬體生態鏈，我們的產業非常有機會走出一片天。作為個人工作者，我們也非常鼓勵花一些時間了解 Azure OpenAI。在 LinkedIn 上面有非常多的教育訓練資源。

All with AI、AI for All，AI 在現在以及未來已經深入所有的工作、營業流程，就像微軟現在目前所有的產品，已經全面導入 AI，我們應該要擁抱它，具備成長型思維。AI 是你的副駕駛，自己還是主駕駛。我們鼓勵企業開始思考這個問題，才可以提前部署，所以我們最後要呼籲大家善用 AI、以簡馭繁 Do more with less。

花想世界，我們下次見！

全程精彩內容，Podcast 請搜尋<花想世界>。

第三季花想世界 Podcast 隆重推出，將透過產業數位轉型的深度對談，分享後疫情時代企業經營心法，引領企業領導者建立突破性的思維，協助組織達成更好的商業與營運模式。

5大平台，隨選隨聽！