Управление большими данными в ритейле

Современные технологические возможности помогают решать бизнес-потребности ритейла, расширять аудиторию и повышать лояльность и одновременно радовать клиентов розницы, формируя для них лучшие предложения. Где же лучше всего виден эффект от применения больших данных, как устроены команды, какую роль играет качество данных и что дают облачные технологии – обсудили участники панельной дискуссии «Управление большими данными» на онлайн-мероприятии Retail Day: Summer Edition.

Своими мнениями поделились Павел Мягких, директор по продвинутой аналитике компании «Лента», Тигран Саркисов, директор по управлению данными X5 Group, и Юрий Литвиненко, руководитель направления Intelligent Cloud, Microsoft в России.

Где виден эффект от применения больших данных

В российской практике есть множество примеров использования аналитики больших данных с доказанным финансовым эффектом. Они относятся ко всем пяти бизнес-образующим блокам розничной торговли: ассортимент, ценообразование, промо, прогнозирование спроса и персонализация.

Павел Мягких: «Очевидно, что есть большой блок онлайн-бизнеса – там своя специфика, характерная для e-commerce, но для крупного офлайн-ритейлера мы говорим про пять блоков, которые генерируют основной объем ценности от данных. Это выбор ассортимента в каждой локации в каждый момент времени. Это ценообразование, промо, прогнозирование спроса и всё, что связано с цепочками поставок. И пятое – персонализация и вся работа с клиентом».

Тигран Саркисов: «Мы на своем опыте и на объективных независимых A/B-тестах убедились, что это не хайп и за использованием больших данных действительно есть серьезная эффективность, которая влияет на EBITDA. Те кейсы, в которых мы добились лучших результатов, можно разделить на две категории: первая связана с эффективностью управления цепочкой поставок, вторая – это персонализация ассортимента и CVM (Customer Value Management) в целом».

Как устроена команда

Эффект от использования больших данных в ритейле невозможен без специалистов, и очень многое зависит от того, какова внутренняя структура компании. Выделен ли отдельный департамент, кому он подчиняется, насколько самостоятелен в своих решениях. И в Х5, и в «Ленте» матричная структура, но на этом сходство заканчивается. В Х5 центр компетенций находится в технологическом блоке, а специалист по продукту приходит из бизнеса. В «Ленте» все специалисты по Big Data входят в блок стратегии и трансформации, а специалист по продукту каждой команды отвечает за максимизацию полезности этой команды для бизнеса.

Павел Мягких: «Мы создали вертикали, которые отвечают за полный цикл создания продукта: Data Scientist, аналитики, Data-менеджеры, Product Owner и разработка. Есть отличие от классических департаментов Big Data в том же телекоме, где обычно финальным продуктом являются некие Docker-контейнеры, которые пишут данные в какую-то табличку. В ритейле чаще всего требуется создание некого инструмента, с которым будут работать люди, требуется создание системы со своим фронтендом и бэкендом. Вертикали делятся горизонтально на продуктовые направления. Тестировщик вполне может находиться в трех командах одновременно, архитектор может строить архитектуру для трех-четырех команд, а вот Data Scientist должен быть погружен максимально. Таким образом довольно гибко балансируются ресурсы, и всегда есть выделенный фронтир для коммуникации с бизнесом и управления сроками, ожиданиями, требованиями».

Тигран Саркисов: «Как таковое разделение между бизнесом и IT на уровне продуктовой команды у нас отсутствует. Каждый продукт – фактически отдельное «предприятие», а Product Owner его mini CEO, который очень хорошо понимает бизнес, возможно, хуже – технологическую составляющую, но в его команде работают ребята из центров компетенций блока технологий. Помогает организовать работу технологий в «предприятии» – фактически Delivery Manager. При таком подходе бизнес-составляющая первична, и иногда работа над продуктами может начинаться без автоматизации, инженеров и технологий. Например, чтобы проверить эффективность использования электронных ценников, нам необязательно разворачивать дорогостоящую инфраструктуру, настраивать интеграционные потоки данных и др. Может оказаться достаточным прийти в магазин и поменять ценники».

Когда собственной экспертизы или внутренних ресурсов недостаточно для быстрого масштабирования или решения задач, встает вопрос о привлечении внешних специалистов. Опыт участников дискуссии различен: Х5 активно использует внутреннюю разработку, но там, где это целесообразно привлекает и внешних подрядчиков, «Лента» осторожнее в этом вопросе, но как показывает глобальный опыт Microsoft, вариантов взаимодействия может быть очень много.

Тигран Саркисов: «У нас достаточно большая внутренняя команда, включающая более 300 человек с сильной дата-экспертизой и дата-компетенциями. Тем не менее, мы достаточно активно привлекаем ресурс внешних компаний по модели аутстаффинга, в ряде направлений доля такого персонала может достигать несколько десятков процентов. При этом, чаще всего ресурсы аутстаффинга усиливают Core-команду продукта».

Павел Мягких: «Главный вопрос: готов ли ритейлер делегировать кому-то свои бизнес-образующие функции? Должен ли ритейлер быть экспертом в ценообразовании? Да, должен. Должен ли быть экспертом по видеоаналитике в магазинах – нет. Такие вещи можно спокойно делегировать другим. Ритейл – сложный и многосоставной бизнес, и все процессы, которые не являются бизнес-образующими, можно делегировать».

Юрий Литвиненко: «Microsoft поддерживает заказчиков из различных сегментов бизнеса, не только ритейлеров, и мы видим разные примеры. Одни полностью полагаются на внутренние команды, другие полагаются на внешнюю экспертизу – например, на партнеров (и у Microsoft их, к счастью, много), а где-то складывается симбиоз. По нашему опыту мы видим, что наличие даже какой-то небольшой профессиональной команды с предыдущим опытом в Data Engineering и Data Science намного ускоряет процесс запуска подобных решений вне зависимости от наличия или отсутствия внешних подрядчиков».

Качество данных

Проблема любого ритейла заключается в том, что данные генерируются людьми, то есть это не техническое логирование, как в телекоме, и не стандартный набор транзакций, как в финансовом секторе. Огромное количество данных заводится руками в разных организациях: поставщик, логистика, магазин, внешние аналитические агентства. Большое количество ручных операций является причиной того, что проблемы с данными чаще всего не технологические, а организационные.

Павел Мягких: «Мы лишь эвристически можем предположить, что дает эффект, и очень повезло, если получилось доказать, что улучшение качества данных на условные 5% приводит к улучшению точности моделей на 3%. Чаще мы выделяем основные блоки, понимаем, где накоплена бОльшая часть ошибок, экспертно оцениваем, что они скорее всего генерируют такие-то проблемы, отсюда ухудшение точности и так далее, и уже сверху вниз начинаем их решать. Иногда мы правы, иногда – нет. Но четкого ответа по Data Governance в ритейле нет, как и на рынке нет до сих пор общего определения».

Тигран Саркисов: «Я бы выделил несколько моментов. Первое: качество данных – тема достаточно сложная, прежде всего, потому что она является больше бизнесовой историей, чем технологической. Она требует определенной дисциплины, «гигиены». Для начала нужно выработать требования и понимание того, для чего мы обеспечиваем приведение данных в порядок, как мы это собираемся использовать.

 Второе: качество данных прямо пропорционально частоте их использования. Низкое качество данных обычно является маркером того, что эти данные на самом деле в компании пока не используются. Эффектов от очистки «впрок» таких данных может не оказаться.

 Третье: блок CDO иногда неправильно позиционируется как некая «уборщица», которая приходит и выполняет очистку данных. Это не так. Обеспечить качество данных может только сам бизнес: меняя процессы работы, развивая культуру работы с данными, приоритезируя и оплачивая технические доработки систем.  

Большие данные в облаке

Большие данные требуют все больше вычислительных ресурсов, поэтому логично встает вопрос об использовании облачных или гибридных решений, которые традиционно позволяют снизить затраты на инфраструктуру и легко масштабироваться. В последнее же время появился и новый аргумент «за»: самые современные сервисы изначально создаются в облаке и это нужно учитывать при планировании на ближайшее будущее. В настоящее время X5 ограниченно использует облачные возможности, в то время как в компании «Лента» реализуется политика гибридной модели, есть классическое внутреннее хранилище на Hadoop, ВМ и внешнее облако от Microsoft.

Тигран Саркисов: «В данный момент мы в Х5 разрабатываем стратегию по использованию полноценного облака, и уже в нее будут заложены планы развития».

Павел Мягких: «Думаю, что в ближайшем будущем «Лента» будет наращивать использование внешних облаков. Это зависит от количества высоконагруженных сервисов, от количества пилотов и экспериментов, идущих одновременно. Экспериментировать и разрабатывать проще в облаке. В то же время, когда есть работающее решение, то нужно переносить, просто потому что на пятилетнюю перспективу это в любом случае будет дешевле».

Юрий Литвиненко: «Многие наши заказчики в России используют гибридную модель облаков, это уже привычно. Мне кажется, интересным другое наблюдение: сейчас появляется некое облачное неравенство, когда технологии уникально доступны только в облаках. Будущие лидеры аналитики, сегодняшние стартапы, строят свой бизнес только на облачных технологиях. Из ярких примеров, которые мы часто встречаем у ритейлеров, – это Databricks, который забирает большую долю решений на Hadoop / Spark. Помимо свободы эксперимента, облако помогает сократить вывод на рынок (time-to-market). Это уже реальность, когда вы можете из маленького пилота за несколько часов развернуться до полноценного решения, которое будет обслуживать тысячи магазинов, миллионы транзакций».