クリス ステットケビック (Chris Stetkiewicz)
※ 本ブログは、米国時間 11 月 4 日 に公開された ”How Microsoft re-envisioned the data warehouse with Azure Synapse Analytics” の抄訳です。
およそ 4 年前、Microsoft Azure のチームは、多くのお客様を悩ませているある問題に気付きました。当時、数 1000 社もの企業が、柔軟で大規模なコンピューティングとストレージを求めてクラウドへの移行を全面的に推進していましたが、拡大するデータを活用してビジネス上の利益を得るという技術革新の次のステップは滞っていたのです。
マイクロソフトなどのテクノロジプロバイダーは、膨大な情報資産を収集、捕獲、分析し、市場の動向や洞察を発見して顧客サービス、イノベーション、効率性を向上した新時代を築くための多様なシステムを構築していました。
しかし、それらのシステムは異なる開発チームにより構築されており、個別の製品やサービスとして販売されていました。それらは互いに連携できるように設計されておらず、お客様は、個別の運用方法を学ばなければならず、時間、コスト、そして、貴重な IT 部門の人材を浪費していました。
マイクロソフトのデータ担当 CTO であるラウー ラマクリシュナン (Raghu Ramakrishnan) は次のように述べています。「個々のサービスに機能を追加するのではなく、一歩引いて考え、主要な機能を一カ所にまとめることで、多様化が進むデータをお客様が容易に収集、分析し、データの縦割り状態を排除し、コラボレーションを推進するための方法を検討することにしました。」
フロリダ州オーランドで開催された Ignite コンファレンスにおいて、マイクロソフトは、この問題に対する長年の開発努力の成果である Azure Synapse Analytics を発表しました。Azure Synapse Analytics は、Azure SQL Data Warehouse の機能をオンデマンドのクエリーアズアサービスなどの新機能と融合した新たなサービスです。
この新たなサービスにより、すべてのデータソース、データウェアハウス、ビッグデータ分析システムの洞察を組み合わせることで、はるかに迅速に、生産的に、安全にデータを活用できるようになると、マイクロソフトは述べています。そして、同社によれば、Power BI、Azure Machine Learning、Azure Synapse Analytics 間の緊密な統合により、データの処理と共用に要する時間を削減でき、ビジネス上の洞察を得るまでの時間を短縮できます。
これは、さらに、より多くの企業がアナリティクスや人工知能などの革新的テクノロジを活用することにもつながります。これらの革新的テクノロジにより、科学者は天気予報の精度を高め、検索エンジンはユーザーの意図をより正確に把握し、労働者は反復的作業をより容易に処理できるようになるでしょう。
データの縦割り状態を排除することを目的とするこの最新の取り組みは、Open Data Initiative や Azure Data Share などの他のマイクロソフトのプロジェクトも活用しています。これらにより、複数ソース、さらには、複数組織間のデータ共用が可能になります。
また、Azure Synapse Analytics は、普及が進みつつある DevOps 戦略をサポートできるよう設計されています。これにより、開発チームと運用チームがより緊密に連携し、ライフサイクルを通じて適切に機能するサービスを構築することが可能になります。
学びのプロセス
Azure Synapse Analytics は、多大な開発努力、そして、少しの試行錯誤の成果です。
ラマクリシュナンによれば、最初に開発チームはお客様が自身でシステムを連携させるためのハイレベルのガイドラインを作成しました。しかし、これはお客様の負担が大き過ぎることが明らかになりました。
「これには、プラットフォームの詳細に関する多大な知識が必要でした。お客様の声からはマイクロソフトが作業を行なうべきであることが明らかでした」とラマクリシュナンは述べています。
そこで、マイクロソフトは構想作業から始め、同社のデータビジネスの中核にあり、お客様がアプリケーションやサービスをクラウド内で構築、テスト、展開、管理できるようにする Azure SQL Data Warehouse の再設計のためにさらに 2 年を費やしました。
従来のデータウェアハウスやデータレイクで行なわれていたように数テラバイトものデータをシステム間でコピーする必要なしに、1 つのサービス内ですべてのデータの分析を行ないたいと、お客様は考えていると気付いた時にブレークスルーが訪れました。
この新サービスにより、お客様は、自社の全データに対して Apache Spark や SQL などの好みのデータ分析エンジンを使用できます。これは、スプレッドシートの行と列のような構造化データでも、ソーシャルメディアの投稿の集合のような非構造化データでも共通です。
このプロジェクトはリスクが高いものでした。SQL クエリー処理エンジンの内部ロジックをクラウドに最適化して完全に書き直し、急激な処理増加や大規模で多様なデータセットの処理に対応できるようにするなど、技術的に複雑な改修作業が伴いました。
また、マイクロソフト社内でのチームの統合にもかつてない困難が伴い、難しい決断を行なわなければならないこともありました。確定したはずの計画をやり直しにせざるを得なかったこともありました。新機能のために確保されていたリソースがシステム全体の向上のために、再活用されました。
「最初は、会話が喧嘩腰になることもよくありました。しかし、作業が進むにつれ協業の意識が生まれてきました」とラマクリシュナンは述べています。
また、従業員の技術レベルによらず、あらゆる企業にとって製品が価値を提供するようにしなければなりませんでした。
「ほとんどの企業はデータプロジェクトの推進と複数システムの統合に 20 人ものチームを雇用するだけの余裕がありません。また、これらの作業をすべて行なえるスキルを持つ人材も不足しています」と Azure Data and Artificial Intelligence 担当プロダクトマーケティングディレクターのダニエル ユー (Daniel Yu) は述べています。
お客様に使いやすさを提供
お客様は、Azure Synapse Analytics Studio を使用して多様なソースのデータを組み合わせ、1 つのフィードにまとめることができます。Azure Synapse Analytics Studio は、単一画面のコンソールであり、ビジネスプロフェッショナルは技術的専門知識がなくても、セールス、サプライチェーン、財務、製品開発などの複数ソースのデータを特定し、収集できます。データの保管場所と方法を選択し、普及が進んだマイクロソフトの Power BI 分析サービスによってレポートを作成可能です。
かつては、数日、数週間、さらには、数カ月を要していたビジネス上の洞察を、Azure Synapse 数時間で提供できると、Azure Data 担当コーポレートバイスプレジデントのロハン クマール (Rohan Kumar) は述べます。
「たとえば、ある役員が、米国東部地区における過去 6 カ月の販売状況に関する販売状況の詳細なレポートを求めてきたとしましょう。今日、データエンジニアは、データの保管場所を発見し、多様なサービスを組み合わせるための間に合わせ的なコードを開発するために多大な作業を費やしています。システムインテグレーターのパートナーを採用しなければならない場合もあります。Azure Synapse ではコードの開発は必要ありません。はるかに直観的な体験が提供されます」とロハンは述べています。
Azure Synapse が対応しなければならない技術的課題の複雑性はいくら強調しても強調し過ぎることはできません。マイクロソフトは、複数の独立した構成要素を一貫したシステムとしてまとめ、データサイエンティストや事業部門責任者などの多様な人々に、最適なデータのアクセスと活用のツールを提供できるようにしなければなりませんでした。
「Azure Synapse ではコードは不要であり、より直観的な体験が提供されます」
～ Azure Data 担当コーポレートバイスプレジデント、ロハン クマール (Rohan Kumar)
同サービスには、SQL Server などの製品、オープンソースのプログラミングインターフェースである Apache Spark、Azure Data Factory、Azure Data Studio、さらに、データの洗浄とモデル化において多くのデータプロフェッショナルが好むノートブックインターフェースが含まれます。
「これらの機能を適切に組み合わせ、容易かつ高速に実行できるようにし、重複したプロセスを排除するためには、恐ろしいほど多くの作業が必要でした」とラマクリシュナンは述べています。
結果として得られたのはスマホと同じほど容易に使えるデータ分析システムです。スマホが 1 つのデバイス上で多くの機能を直観的に使用できるようにしたことで、他の複数のデバイスを置き換えていったように、Azure Synapse は「データにおけるスマホ」として機能し、データエンジニアがデータのパイプライン全体を一カ所で構築できるようにしてくれます。また、データサイエンティストやアナリストがデータを自分にとって自然な形で分析できるようにしてくれます。
そして、スマホがコラボレーションの波を引き起こし、ビジネスのイノベーションをもたらしたように、Azure Synapse は、個人や企業が構想した製品やサービスを迅速に市場投入できるよう支援してくれるでしょう。
「多様な人々がその人自身にとって自然なレンズを通じてデータを見ることができるよう支援できれば、企業の仕組みを変革することができるでしょう。それが達成できてこそ私たちの取り組みは成功したと言えるでしょう」とラマクリシュナンは述べています。
タイトル画像：Azure Data 担当コーポレートバイスプレジデントのロハン クマールは、かつては発見に数日、数週間、さらには、数カ月を要していたようなビジネス上の洞察を Azure Synapse が直ちに提供してくれると述べています。（写真提供：スコット エルクンド（Scott Eklund）、Red Box Pictures）
—
本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。
