跳過主内容

數據商業思維與技術經驗分享 : 利用資料分析指導決策、掌握商機的四個方法與客戶案例

資料分析是所有商務策略的必要環節。全世界的企業、政府機構和個人都運用資料搭配高效能的資料分析做出快速回應、明智且即時的決策。

在分析的領域中,速度至關重要,因為資料的價值會隨著時間的流逝而貶值。除此之外,組織也必須保持靈活度和擴充性,才能根據其商務情境和挑戰調整自己的分析工作負載。

而上述正是雲端分析平台 ( 例如 Azure Synapse Analytics) 成為組織重要資產的原因。Azure Synapse Analytics 是市面上唯一整合資料擷取巨量資料分析資料倉儲的端對端平台,這項服務建置在完全受管理的平台提供周全的安裝與設定選項,可協助企業迅速獲得成果。Azure Synapse Analytics 也提供平台即服務 (PaaS), 讓客戶能夠針對每種工作負載,在無伺服器和專用選項中選擇最佳的定價選項。

讓我們一同透過以下 4 種不同的使用案例,了解全球性組織如何採用 Azure Synapse Analytics 協助團隊發掘全新的見解,並且以可擴充、安全且即時的方式探索資料。

Aggreko
Aggreko 所提供的相片

使用案例 1:即時庫存管理

Aggreko 是供應暫時發電、溫度控制系統和能源服務的全球領導者,只要客戶有需要,就能隨時隨地提供備用能源和電力供應。該公司需要在暫時性需求與永久性商務需求之間取得平衡。他們的商業模式需要針對客戶建置自訂應用程式,而且客戶會因地理位置差異、天氣和其他因素而要求不同的規格和庫存。於是 Aggreko 使用了 Azure Synapse Analytics 即時供應專業設備,進而提高營運效率。

商務挑戰與需求

就像許多其他組織一樣,Aggreko 也有內部部署資料倉儲。資料團隊會從許多來源系統提取資料,包括財務系統、營運門市、商務和使用者系統、B2B 應用程式以及外部資料集。所有資料都必須匯集在一起,才能讓團隊進行任何有意義的分析或找出任何可能的資料趨勢。

過去,由於內部部署基礎架構的限制,團隊必須將這些批次工作排程為每隔 8 小時執行一次,而且每次將資料載入至倉儲時,處理新的批次就大約需要4 小時。此外,由於儲存空間有限,每天都必須重建資料倉儲。這些限制讓資料團隊備感困擾,而且無法即時產生分析。

只能操作已經存在約 24 小時之久的資料。這表示,報表相關性不高,而且團隊無法在資料送達後提升商務價值。

團隊想要在資料進入時迅速回應商務需求,並且運用資料來確保倉儲妥善存放正確的庫存。但在內部部署資料倉儲和批次處理資料的限制下,這個目標幾乎無法實現。

批次處理新資料不僅需要數個小時來完成,而且轉換及清理資料也需要數個小時的時間,然後他們才能查詢資料。事實上,資料團隊評估開始查詢及探索資料之前,大約有 30 到 40% 的時間是花費在解決基礎架構調整和資料清理等技術複雜性上。

解決方案

為了改善營運效率並導入近乎即時的庫存管理,Aggreko 採用了 Azure Synapse Analytics。首先將內部部署資料倉儲的平台重新打造成 Azure Data Lake Storage Gen2,以便擁有無限制擴充性的單一資料存放區。所有來自內部和外部系統的必要資料都集中到這個單一平台,然後進行擷取、精選及轉換以符合 Aggreko 各種應用程式和團隊的需求。

Aggreko 全新資料分析架構的核心就是 Azure Synapse Analytics。這個架構為團隊提供了必要的資料倉儲和整合式平台,協助他們在單一服務中進行巨量資料分析。Azure Synapse 管線和 Azure 事件中樞會用於資料擷取。如此有助於資料團隊大幅縮短資料載入工作時間,讓他們能夠在資料存放於 Data Lake 時查詢資料並找出趨勢。

因此,不論 Aggreko 處理的資料量有多龐大,團隊都能直接查詢資料,然後將產生的資料集輸出到Power BI 以建立互動式報表和儀表板。如此一來, 取得深入解析的速度便倍速增長。

此外,資料團隊還可以在 Azure Synapse Analytics 中使用 Jupyter Notebook 搭配無伺服器的 Apache Spark 集區,以近乎即時的速度 ( 每隔 5 分鐘 ) 探索送達的資料,進而突顯出任何可能導致製造延誤的庫存短缺狀況並將結果推送到 Power BI 儀表板中。然後這個儀表板就會向規劃人員和客戶顯示 Aggreko 是否擁有建置資產所需的完整物料單。

Azure Synapse
圖 1:即時庫存解決方案概觀

成果

Aggreko 不但大幅降低資料擷取的複雜度,而且還加快速度。從來源系統擷取必要的資料原本需要4 小時,而且每隔 8 小時才能載入一次。拜 Azure Synapse 的資料擷取管線功能之賜,這項作業如今能在資料送達時同步進行,也就是說,資料能以近乎即時的速度 ( 最多延遲 5 分鐘 ) 擷取並處理完成。如此不僅提升速度和效率,而且還實現了在舊系統底下無法進行的分析情境,其方法就是為 Azure Synapse 中的分析服務提供最新的時間序列資料。

系統可提供精確且近乎即時的可用物料報表。然後,產生的資料集會推送到 Power BI 成為物料狀態報表, 供規劃人員、客戶和分析師用來協助了解公司是否擁有建置資產所需的完整物料單。此報表會為使用者顯示零件狀態的摘要。在每個專案中,報表會使用分色標示的短缺圖 ( 紅色、橘色和白色) 顯示所需的物料。

規劃人員可以更輕鬆地提交採購訂單。資料團隊利用Power Platform 建置了一個內嵌在物料狀態報表中的應用程式,讓規劃人員能夠針對短缺的項目提交採購訂單。如此一來,規劃人員就很容易迅速採取行動並且輕鬆填補任何這類短缺狀況。

過去解決技術問題需花費的時間如今都已釋出。改用 Azure Synapse 資料分析並簡化擷取管線就表示,資料團隊節省了大約 30-40% 的時間,這些都是先前花費在解決技術問題和處理基礎架構與儲存空間限制的時間。現在,這些時間可用來專注於解決商務問題並發掘全新的見解。

整合式平台創造出整合式團隊。最後,Aggreko 資料團隊目前擁有的整合式資料分析平台集結了資料科學家、資料工程師、分析師、規劃人員和商務使用者,讓他們能比以往更快速且更輕鬆地進行共同作業及創新。

本使用案例是以 Aggreko 採用 Azure Synapse Analytics 做為分析平台的真實情境為基礎。若要深入了解這個客戶成功案例,您可以觀看 Aggreko 資料深入解析部門主管的訪談內容

Azure Synapse
圖 2:衡量採用 Azure Synapse 處理即時庫存的成果
Clearsale
Clearsale 所提供的相片

使用案例 2:詐騙偵測

線上交易的規模和數量急劇暴增,因此,詐騙的層級不斷提高而且手法也變得日益複雜。

巴西首屈一指的詐騙偵測公司 Clearsale 運用 Azure Synapse Analytics 打造出現代化的營運分析資料平台。Clearsale 使用巨量資料分析偵測世界各地的詐騙行為,每天平均幫助客戶驗證五十萬筆交易。他們會收集有關購買的資訊,以及客戶行為和其他資料點。客戶行為資料包含有關客戶的多方面觀察,例如使用的信用卡數目、交易的規模以及所處的概略位置。Clearsale 會透過機器學習模型以及不同產業的商務規則和歷史資料來處理這些資料。所有資料都必須在數秒內處理完畢,Clearsale 再根據結果預測出這筆交易是否為詐騙。

商務挑戰與需求

Clearsale 資料集的大小每隔 2 年就會加倍成長。他們擁有許多內部部署 SQL 伺服器,可供擷取資料, 而且他們也會在這些伺服器上執行分析工作負載。不過,由於基礎架構的限制,他們有時候需要使用複寫資料建立新的 SQL 伺服器,才能在需求很高時處理分析管線。但這種做法顯然效率不彰,而且還會導致詐騙偵測延誤。

詐騙偵測必須在數秒內執行完畢。對於 99% 的交易,機器學習模型可以偵測出是否有任何可疑的活動。其餘 1% 的交易,調查團隊會主動接手以處理其餘交易。

詐騙也是非常動態的行為。某個產業的資料外洩可能會迅速影響其他產業並創造出許多詐騙交易,因此能夠即時將 Clearsale 資料與其他資料外洩事件的資料建立相互關聯很重要。他們的資料團隊希望能夠快速輕鬆地擷取外部資料集,例如重大資料外洩事件的資料或產業特定的資料集。但由於他們的系統受到現有的內部部署運算和儲存能力所限制,所以這個目標幾乎無法實現。

解決方案

為了解決營運資料儲存需求,Clearsale 採用了 Azure SQL Database 超大規模資料庫以協助他們擴充營運運算的規模。這個資料存放區可用來解決營運需求, 例如提供應用程式以及輸入資料至機器學習模型。

對於資料倉儲需求,Clearsale 現在使 用 Azure Synapse Analytics 將所有營運和歷史資料整合在一起。他們使用 Azure Data Lake Storage Gen2 做為備援資料存放區。採用 Azure Synapse Analytics 之後,Clearsale 能夠以近乎即時的速度查詢及探索資料。如此不但大幅加快取得深入解析的速度,而且還能在不影響營運資料存放區的情況下,輕鬆地執行進階資料探索。

Clearsale 也會使用 Azure Synapse Analytics 定期訓練及強化其機器學習模型,並根據資料倉儲內的完整資料集進行訓練,然後再將結果推送到 Azure SQL Database 超大規模資料庫以提升其詐騙偵測能力。

Azure
圖 3:Clearsale 的 Azure 詐騙偵測解決方案概觀

成果

Clearsale 目前運用 Azure Synapse Analytics 的無限制擴充性和現成可用的功能來打造現代化的資料資產。整體而言,這個早期採用 Azure Synapse Analytics 的成果非常出色。Clearsale 移轉至 Azure Synapse Analytics 所實現的效益摘要說明如下:

  • Clearsale 資料團隊已大幅縮短訓練新模型以提升其詐騙偵測能力所需要的時間。原本使用先前的內部部署平台時,擷取、準備和訓練機器學習模型就需要將近一週的時間。使用 Azure Synapse Analytics 之後,這些時間已縮減到 6 小時以內。這項巨大的進展不但強化其能力、提升效率並且降低營運負擔。
  • 團隊現在可以使用 Azure Synapse 做為資料倉儲搭配 Azure Data Lake Gen2 做為資料存放區,輕鬆快速地擷取大型資料集。這不僅包括他們的營運資料和歷史資料,而且還包括與詐騙偵測能力有關的其他資料集。
  • 其他系統的相關知識和經驗都可轉移到 Azure SynapseClearsale 資 料 團 隊 可 以 在 改 用 Azure Synapse Analytics 時,直接轉移所有使用 SQL、Spark 和Azure Synapse Studio 的知識和經驗。

對於原本已經在技能組合和工具方面投入資源的團隊,也可以輕鬆採用 Azure Synapse。雖然Azure Synapse Analytics 是一套具備全新架構的現代化平台,不過它是以現有產業標準、開放原始碼技術和熟悉的語言 ( 例如 SQL) 為建置基礎。因此,轉換成 Azure Synapse Analytics 非常容易。

  • 有許多適用於商務的全新安全性功能。由於 Clearsale 的業務主要涉及金融交易,因此他們隨時都將焦點集中在所有商務層面的安全性上。現在採用 Azure Synapse Analytics 之後,他們就可以使用 Azure Synapse 的安全性功能,例如動態資料遮罩以及資料列和資料行層級加密。
  • Clearsale 目前可以透過更輕鬆且功能更強大的方式,在 Azure Synapse 上管理資源及控制工作負載優先順序。資料團隊建立了不同的工作負載管理群組,例如 BI 分析師、資料工程師和資料科學家的群組。他們可以使用這些管理群組,針對提交的工作負載指派精確的優先順序。如此可實現更有效的資源使用率、提高效能,同時降低成本。

本使用案例是以 Clearsale 運用 Azure Synapse Analytics 打造現代化資料資產的真實情境為基礎。若要深入了解這個客戶成功案例,您可以觀看 Clearsale 資料工程師的 Microsoft Mechanics 訪談內容

Azure Synapse
圖 4:衡量採用 Azure Synapse 處理詐騙偵測的成果
GE
Microsoft 所提供的相片

使用案例 3:預測性維護

GE Aviation’s Digital Group 是製造飛機引擎和開發航空軟體的全球領導者。生產各式各樣的產品,從專業的軍用飛機引擎到最強大的民用飛機引擎,種類繁多。除了製造以外,GE (奇異公司) 也為全世界多家航空公司提供進階資料分析服務, 尤其是安全分析。

就像大多數的組織一樣,GE 也在積極設法打造現代化的資料資產。他們實作了 Azure Synapse Analytics 成為其新一代全球安全分析資料平台的一部分。

商務挑戰與需求

GE 會從世界各地的航班擷取大量資料。針對每個航班會擷取整個航班的航班時間序列資料,其中包含的資 料點多達 350,000 個。這些資料會與其他來源的資料結合,例如飛機機型、飛行計畫、跑道和機場資料。GE 也會從外部來源擷取資料,例如預測和實際的天氣資 料。以上所有作業都會產生龐大的資料量,而且必須經過擷取、精選及轉換才能加以取用。

過去 20 年來,GE 都是使用內部部署技術來建置其資料平台。他們以名為 EMS 的航班資料處理系統做為基礎,建置了資料啟用層。全球許多大型航空公司都使用 EMS 來解碼及轉換飛機感應器所記錄的航班資料。GE 也在內部部署環境中建置了名為 Distributed Processing System 的運算層。這套系統會使用內建超過 10,000 個預先定義航空分析的程式庫執行描述性分析,在航班的每個階段中偵測出異常事件。

GE 會為航空公司客戶提供安全分析服務。航空公司客戶會獲得遠端桌面存取權,因此客戶可以登入並使用GE 的安全分析平台。此外,GE 還會讓航空公司客戶能夠透過 API 存取其安全分析服務。

GE 擁有既龐大又非常成熟的資料平台。不過,在這個平台上進行資料擷取、移動和探索等工作並不輕鬆。而擴充性也是 GE 想要改善的另一層面,因為他們的平台分析受到基礎架構的限制所約束。圖 5 展示了 GE 資料分析解決方案的高階架構 ( 使用 Azure Synapse 之前 )。

GE 資料團隊想要運用 Azure Synapse Analytics 探索的其中一個主要情境就是,能夠根據一組航班記錄範例訓練及生產預測性維護機器學習模型。開發這些模型的目的在於產生飛機氣動系統的狀況指標。

Azure Synapse
圖 5:GE 的安全分析平台 ( 使用 Azure Synapse 之前)

解決方案

首先,GE 的資料團隊經由 API 將資料生態系統的基本部分提取到 Azure Synapse Analytics。資料會儲存在 Azure Data Lake Storage Gen2 中,這表示資料目前緊密整合在 Azure Synapse 中,可供立即探索和搜尋。這是一個很好的開始,因為先前資料團隊受到資料配置和資料倉儲結構所約束的平台限制已經排除了。

GE 的工程師發現將 EMS ( 航班記錄資料 ) 擷取到Azure Synapse 中很容易。他們在 Azure Synapse 中建置管線 ( 使用 Azure Synapse 管線 ) 以載入資料並轉換成 Parquet 檔案,然後儲存在 Azure Data Lake Storage Gen2 中。下一步是在 Azure Synapse 中無伺服器的 Apache Spark 集區上執行使用整合式 Jupyter Notebook 所撰寫的 Python 指令碼。

這個 Notebook 是用來產生狀況指標,也就是已經根據時間序列航班資料衡量各種安全和作業層面的浮點彙總值。

然後,使用另一個 Jupyter Notebook 來執行 Scala 指令碼,將產生的狀況指標載入至無伺服器的 SQL 集區,並將每個狀況指標都拆分為一個事實資料表, 以及一些維度資料表,其中描述與每個狀況指標相關聯的飛機,例如飛機機隊和 ID。

接著使用 Power BI,透過互動式報表以視覺化方式呈現資料,讓 GE 分析師和工程師能夠更輕鬆地找出異常事件。找到異常事件之後,分析師就可以輕鬆快速地向下切入至相關的資料點,而這些資料點可能會指出需要注意的故障感應器或設備。下圖展示了 Azure Synapse 使用案例的高階圖表。

Azure Synapse
圖 6:GE 的 Azure Synapse 預測性維護高階解決方案設計

成果

使用 Azure Synapse Analytics 之後,GE 能夠輕鬆快速地擴充預測性分析的規模。Azure Synapse 讓他們可以輕易地建置結合許多龐大資料集的複雜管線。GE 所實現的成果摘要說明如下:

  • 使用 Azure Synapse Analytics 建置複雜的預測性機器學習模型變得輕鬆快速多了。如果在先前的系統中建置相似的模型,需要使用眾多系統並跨越多種環境來完成許多複雜的步驟。Azure Synapse Analytics 不僅能更快取得深入解析,而且還為資料團隊節省大量時間,讓他們能夠運用這些時間來解決實際商務問題,而非處理技術限制。
  • GE 認為 Power BI Azure Synapse 之間的原生整合極為實用。他們現在可以迅速探索資料, 而且在狀況指標報表中發現異常現象時,分析師可以針對出現尖峰的原因以及需要的修正維護作業進行向下切入分析。
  • GE 特別重視 Azure Synapse Analytics 的無限制擴充性,因為他們再也不必擔心基礎架構限制或擴充限制的問題。如此不但提升效能,同時還能降低成本。

本預測性維護使用案例是以 GE 試用 Azure Synapse  Analytics 打造現代化安全分析平台的真實情境 為基礎。若要深入了解這個客戶及其使用案例,  您可以觀看 GE 資深產品經理的 Microsoft Mechanics 訪談內容

Contoso
Microsoft 所提供的相片

使用案例 4行銷分析(360 度的完整客戶檢視 )

在這個使用案例中,我們將探討某間零售公司如何運用資料來建置 360 度完整的客戶檢視,進而改善其客戶體驗和獲利能力。

假設有一間名為 Contoso 的大型跨國零售公司,而且門市遍佈全球。該公司專門透過實體門市以及數位線上通路 ( 行動和 Web 應用程式 ) 銷售消費性商品、電子產品和個人護理商品。Contoso 已經開始使用 Azure Synapse Analytics 來建置完整的客戶檢視,而且目標是運用 Azure Synapse 做為其現代化資料平台以強化客戶體驗並提高利潤。

商務挑戰與需求

Contoso 擁有多個不同的資料集,分別儲存在相異的系統中。客戶資料來自四面八方,內容包羅萬象, 例如:客戶服務通話內容、網站瀏覽、線上和實體門市的購物行為,以及行動應用程式使用狀況。這些只是每分鐘為 Contoso 產生大量資料的其中少數通路而已。

龐大的資料量以及種類繁多的結構和格式,導致先前的內部部署資料倉儲幾乎無法處理。除此之外, 來自眾多資料來源的資料彼此之間可能沒有明顯的相互關聯。那麼,該如何比較網站使用資料與客戶購買行為或是天氣資料與存貨量之間的關係呢?這是一項龐大的工作,因為不只要擷取這些不同的資料集,還要清理資料並建立相互關聯。而且還極具挑戰性。基本上,就是要嘗試建立可能不存在的聯結識別碼。

Contoso 採用了 Azure Synapse 來整合所有資料, 以協同合作且即時的方式進行資料探索和資料工程。

解決方案

Contoso 採用的 Azure Synapse 就是他們資料解決方案架構的核心。圖 7 展示了高階解決方案設計; Contoso 會使用 Azure Synapse 管線,輕鬆快速地從不同的資料來源將資料擷取到 Azure Data Lake Storage Gen2。同時使用 Azure 事件中樞來擷取非結構化資料,例如社交媒體摘要、IoT 感應器和點選流。所有資料都儲存在 Azure Data Lake Storage Gen2 中。

使用 Azure Synapse 整合的資料分析功能之後,資料團隊現在不需要移動資料或將資料轉換成其他格式, 就可以立即開始探索資料。Contoso 的資料工程師可以使用 Azure Synapse 無程式碼的資料管線,也可以在無伺服器的 Apache Spark 集區上使用 Jupyter Notebook 建置自訂程式碼,進而精選資料、建立資料的相互關聯並轉換資料以建置可立即取用的資料 集。然後,這些資料集會推送到 Power BI 以提供互動式視覺化功能和報表。

Azure Synapse
圖 7:適用於行銷分析的 Azure Synapse

成果

Azure Synapse Analytics 讓 Contoso 能夠以前所未有的方式整合資料、開發人員和商務使用者。Azure Synapse 不但簡化了 Contoso 的資料擷取和資料處理作業,同時也讓 Contoso 能夠輕鬆擁有一個存放所有營運和歷史資料的中央資料存放區而且能以近乎即時的速度重新整理。

此外,Azure Synapse 也簡化了 Contoso 的資料探索和搜尋作業,因為他們再也不需要轉換資料的格式或將資料移至其他系統了。如此一來,Contoso 資料團隊就可以進行下列實驗:對應不同的資料集並建立相互關聯以產生可供取用的精選資料集。

Azure Synapse Analytics
Azure Synapse 建置在非常高效能的現代化架構上 ( 速度比同等級的服務要快上 14 倍 )、成本比其他服務要低 94%,而且提供更多對資料分析專案很重要的功能,例如整合、管理、監控和安全性。

總結

目前重大經濟和健康挑戰面對卓越領導能力、明確願景以及明智的資料分析之後,也可以轉化為成長商機。在這些時刻,組織需要仰賴資料和科學,以及其團隊的意志和知識。為確保團隊能夠運用資料分析進行共同作業、探索及創新,透過適當的工具強化團隊能力很重要。

從上述案例中,我們可得知 Azure Synapse Analytics 提供不受限制、充分整合且功能強大的分析服務,讓企業從小規模便可開始著手並視需要擴充。除了可針對使用量付費, 也可以配合自己的需求調整。

如果您還想了解更多使用 Azure Synapse Analytics 的方法,歡迎參考:Azure Synapse Analytics 說明文件網頁