데이터 자산 : 2020년대를 위한 승리 공식

한 해를 마감하며, 대부분의 사람들은 올 한해의 일들과 다가올 한 해의 일들을 미리 점쳐 보는 시간을 갖습니다. 2020년대로 들어서는 올해는 특히 더 그렇습니다.

불과 20 년 전 만 하더라도 전 세계의 기업 및 기관들은 공황 상태에 있었습니다. 다가오는 10년, 장기적 변화에 대한 고민 보다는 당장 1월 1일에 기계가 작동하는지가 관건 이었습니다.

올해는 과연 어떨까요? 아직 Y2K를 기억하고 있지만, 이제는 더 이상 컴퓨터가 간단한 날짜 변경 처리를 할 수 있을 지에 대한 걱정은 하지 않습니다. 그렇다면 눈 앞에 닥친 2020년 혹은 그 이후에 대한 준비가 모두 되어 있다고 할 수 있을까요? 특히, 오늘날 우리가 생성하는 데이터의 방대한 양, 다양성 및 속도에 대한 대비는 어느 정도 되어 있을까요?

아시아의 데이터 디케이드 (Data Decade)

저는 앞으로 10년 동안 데이터가 아주 중요한 역할을 할 것이라고 생각합니다. 그리고 이러한 데이터를 각 기관 및 조직을 비롯한 산업 전체가 어떻게 활용하고 적용할 지가 매우 중요한 요인이 될 것입니다.

아시아는 산업용 로봇이 생산해내는 방대한 양의 데이터로 인해 이미 데이터 생산 측면에서 세계적으로 앞서고 있습니다.

현재 아시아에는 약 33제타 바이트(ZB)의 데이터가 있습니다. (ZB는 1조 기가바이트(GB)로, 이는 당신의 휴대폰 요금제에서 확인할 수 있는 GB와 동일합니다.)

이 수치가 내년에는 44ZB, 2025 년에는 170ZB에 달할 것으로 예상 됩니다. 그리고 전체 170ZB의 약 60%는 기업에서 생산해 내는 데이터 일 것 입니다.

오늘날, 데이터는 비즈니스의 차별화 요소로써 중요한 역할을 합니다.

기업에게 막대한 이익을 안겨 주거나 혁신을 가능하게 하며 반대로 이를 경시하면 중요한 기회를 놓칠 수도 있습니다.

지난 1년 동안 저는 아시아의 산업이 데이터와 AI 그리고 클라우드를 활용해 얼마나 빠르게 변하고 성장해 왔는지, 그리고 이를 통해 일하는 방식을 바꾸고 경이로운 성과를 창출해 내는 다양한 사례들을 직접 목격 했습니다.

그리고 오는 10년은 데이터의 해가 될 것이라는 것에 대한 확신이 생겼습니다. 회사 차원의 데이터 전략과 데이터 중심의 문화가 매우 짧은 시간에 엄청난 변화를 일으킬 수 있을 것 입니다. 그러나 이에 앞서, 조직은 데이터 사일로(silos)를 분석해서 데이터를 완전히 이해해야 합니다.

데이터 자산에 대한 이해

오늘날 조직 데이터는 운영 데이터베이스, 데이터 웨어 하우스 및 데이터 레이크를 포함하여 가상 및 지리적으로 여러 위치에 저장됩니다. 그리고 지속적으로 증가하는 소스 속에서 디지털 정보의 소용돌이를 만듭니다.

그러나 오늘날 디지털 트랜스포메이션을 추진하려면 데이터의 잠재력을 최대한 활용해야 합니다. 그리고 이를 위해서는 데이터 사일로(silos)를 분류하는 현대화 된 데이터 플랫폼이 필요합니다.

마이크로소프트에서는 이를 데이터 자산(Data Estate)이라고 지칭합니다. 이를 잘 설계하고 관리하는 것이 비즈니스 성과를 좌우합니다.

이를 통해 조직은 분석을 통해 데이터를 받는 첫 순간부터 바로 실행 가능한 비즈니스 인텔리전스와 같은 최종 결과물에 이르기까지 데이터의 잠재력을 최대한 활용할 수 있습니다. 데이터 자산은 데이터를 수집, 저장, 준비, 모델링, 제공 및 시각화하여 운영을 지원, 향상 및 변형 할 수있는 통찰력을 제공합니다.

일본 건설 장비 제조업체 코마츠 (Komatsu)의 호주 지사가 좋은 예입니다. 이 회사는 하루에 최대 백만 건의 레코드(records)를 처리하고 매년 거의 30,000 개의 커넥티드 기기(connected tool), 기계 및 장비에서 20-30GB의 데이터를 수집합니다. 이는 연간 900,000GB가 넘는 데이터로 변환됩니다.

이러한 데이터 속에서 특정 자료를 찾는다는 것은 건초 더미에서 바늘을 찾는 것과 같습니다.

그러나 코마츠는 AI와 클라우드를 통해 고객 패턴을 식별하고 중요한 정보를 찾아내 효율성을 높이고 더 나은 결과물을 만들어 냈습니다.

코마츠는 수요와 공급주기를 더 잘 이해하고 안정성 및 운영 문제의 차이를 찾아 해결함으로써 비용은 49%까지 감소시키고 25%에서 30%의 성과를 얻을 수 있었습니다.

마이크로소프트의 데이터 이동 경로 (Data journey)

마이크로소프트는 기업이 데이터의 중요성은 물론 그들의 데이터 자산을 현대화 하고 데이터 기반의 문화를 만드는 등 지속적인 기업 내부의 변화의 필요성에 직면했다는 사실을 깨닫았습니다. 역사적으로 많은 데이터가 사일로에서 운영되었으며, 이러한 데이터를 각기 다른 시스템에 보관하면 여러 팀들이 통일된 결정을 내리기가 어렵고 결과적으로 일관성을 유지하기가 어려워졌습니다.

일반적으로 비즈니스는 크게 두 가지 유형의 분석 시스템 인 데이터웨어 하우스와 데이터 레이크를 유지해야 합니다. 데이터 웨어하우스는 비즈니스 상태에 대한 전반적인 인사이트를 제공합니다. 데이터 레이크는 고객, 제품, 직원 및 프로세스에 대한 중요한 시그널을 찾아낼 수 있습니다. 둘 다 중요하지만 일반적으로 서로 독립적으로 운용되기 때문에 정보가 없는 의사 결정이나 목적이 없는 조치가 취해 질 수 있습니다. 이처럼 다양한 정보에 고급 분석 및 머신 러닝을 적용하는 것은 어려울 수 있으며, 심층적인 통찰력을 제공하지 못합니다.

이 문제를 해결하기 위해 마이크로소프트는 전사적으로 데이터를 통합했습니다. 데이터를 검색하고 신뢰할 수 있으며 이해 하고 추적 할 수있도록 했습니다. 회사 자체를 위한 데이터 자산 방법론을 마련하고 이를 구현함으로써 고급 분석, 머신 러닝 및 AI 인사이트를 위한 자체 데이터를 최적화, 비즈니스를 획기적으로 변화시키고 혁신을 가속화 할 수 있었습니다.

비즈니스 성장을위한 시냅스 연결

엔지니어링 팀은 많은 다른 회사들이 제품 분석을 최대한 활용하는 데 어려움을 겪은 이유를 조사하기 시작했습니다. 그리고 AI를 회사 전체에 적용하기 위해 데이터 스토리지 세트를 정렬하거나 결합 할 수 없다는 점이 많은 조직에서 혁신의 주요 장벽이었다는 점을 발견 했습니다.

이러한 인사이트를 바탕으로, 우리는 최근 애저 시냅스 애널리틱스(Azure Synapse Anlytics)를 출시 했습니다. 애저 시냅스 애널리틱스는 전체 데이터 플랫폼의 중요한 구성 요소로써 누구든지 단일 서비스 내에서 각기 다른 장소에 있는 데이터를 관리하고 분석할 수 있도록 해줍니다. 표준 SQL 을 사용하면 정형 및 비정형 데이터도 분석할 수 있습니다. 애저 시냅스 애널리틱스는 모델 구축을 위한 애저 머신 러닝(Azure Machine Learning)뿐만 아니라 쉽게 사용할 수 있느 비즈니스 인텔리전스 및 리포팅 툴인 파워 BI(Power BI)와도 완벽하게 통합 됩니다. 조직은 모든 ​​데이터 소스, 데이터 웨어하우스 및 빅 데이터 분석 시스템의 통찰력을 한데 모아 보다 빠르고 생산적이며 안전하게 데이터를 작업 할 수 있습니다. 또한, 독점 SQL 및 오픈 소스 데이터베이스로 확장하고 분석 워크로드를 관리하여 데이터의 구조화, 반 구조화, 실시간 혹은 전 세계적으로 분산되어 있던지에 관계 없이 모든 데이터를 빠르고 비용 효율적으로 관리할 수 있습니다. 데이터의 위치(클라우드 혹은 조직 내부)에도 관계 없이 모두 관리 할 수 있습니다.

과거에는 심도 깊은 비즈니스 인텔리전스 보고서 (예를 들어 아시아의 특정 시장에있는 특정 제품에 대한 디테일한 판매 보고서)가 만들어 지려면 데이터 엔지니어가 데이터를 준비하고 모델을 만들고 먼저 테스트 해 봐야 했습니다. 심지어는 데이터 설계자(data architect)가 모든 데이터를 다양한 플랫폼으로부터 가져와야 했습니다. 이제는 기존 데이터 혹은 IT 인력만으로 쉽게 처리할 수 있습니다. 즉, 훨씬 더 빠른 비즈니스 의사결정과 이니셔티브를 가능하게 하고 조직이 변화와 기회에 보다 유연하고 즉각적으로 대응할 수 있도록 합니다.

이러한 아시아 산업 전반에 걸친 대대적인 변화는 내년에도 계속될 것 입니다. 성공적인 데이터활용으로 2020년의 주인공이 되실 수 있기를 바랍니다.

원문은 이곳에서 확인하실 수 있습니다.