Вызовы цифровой трансформации в ритейле - Arenadata
←
→
Транскрипция содержимого страницы
Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже
Вызовы цифровой трансформации в ритейле
Проблемы цифровой трансформации в ритейле • Необходим единый масштабируемый механизм для централизованного сбора, хранения и анализа информации и оперативно предоставления результатов руководству и бизнес-пользователям • Наличие исторических хранилищ данных и аналитических инструментов, унаследованные от приобретённых ранее компаний • Отсутствие консолидированного хранилища масштаба холдинга и единой точки входа к корпоративным данным для бизнес-пользователей • Отсутствие единых регламентов хранения, проверки качества и использования данных • Дублирование и рассогласованность данных • Высокие затраты на обеспечение безопасности данных, поддержание и использование разнородных инструментов BI • Слабая информированность бизнес-пользователей о наличии необходимых данных • Слабое вовлечение продвинутых бизнес-пользователей в разработку аналитических сценариев (отсутствие "песочницы") • Длительный промежуток времени между заявкой от бизнеса и разработкой отчета (набор разнообразных отчетов еще не означает BI)
С такими задачами столкнулись
Цифровая компания - это
Персональное
предложение
в режиме реального
времени
Анализ потребностей и Изменение
образа жизни клиентского опыта
клиента
Основные ИТ-компоненты
«Цифровой компании»
Процессы
• Agile & DevOps
• Continuous Delivery/ Integration
• Полная автоматизация
Платформа данных Облачная архитектура
и приложения
• Обработка различных типов данных
• Распределенность и микросервисы
• Горизонтальное масштабирование
• Time-to-market
Этапы становления цифровой компании 1. Построение аналитической платформы данных 2. Персональная и интерактивная коммуникация с клиентом 3. Формирование нового клиентского опыта 4. Развитие новых направлений и сервисов
Характеристики современной
платформы данных
Эластичность и горизонтальная Поддержка любых регламентов:
масштабируемость от real-time до mega-batch
Поддержка любых типов и форматов ANSI-SQL-совместимость
данных
Параллельный обмен и pushdown-
Open Source как залог прозрачности оптимизация между компонентами
платформы
Интегрируемость и модульность Единая система управления и
компонентов платформы мониторинга для всех компонент
Кто мы ARENADATA — ведущий российский разработчик платформ сбора и хранения данных для компаний, которые хотят изменить бизнес с помощью цифровизации процессов и сложной аналитики, основанной на использовании Big Data. Наши решения строятся на технологиях с открытым кодом Большие Интернет Машинное Связанные и помогают работать с данные вещей обучение технологии
Платформа
для цифровой компании
Экспертиза зарекомендовавших себя
партнёров-интеграторов, бизнес-кейсы SQL BI
Оцифрованные Множество
и прикладное ПО, доказавшее свою
эффективность бизнес-процессы инструментов для
решения прикладных
задач
Платформа
Любое ПО на любой
Arenadata Enterprise Data Platform с данных
инфраструктуре:
нативной интеграцией сервисов и эластично,
компонент, централизованным отказоустойчиво,
мониторингом и управлением под любые реалии
кластерами и задачи
Эластичная
инфраструктура
Решаемые задачи
Корпоративные Разгрузка Машинное обучение Озёра и фабрики
хранилища больших дорогостоящих и искусственный данных
данных инженерных систем интеллект • Единый хаб всех данных
• Классические КХД и (Teradata, Exadata) • Поддержка R, Python и
компании.
хранилища больших данных с
• Импортозамещающие ПАК на
Madlib. • Возможность быстрого
обновлением в реальном и развёртывания и
околореальном времени.
базе массово-параллельных • Distributed ML на базе Spark.
СУБД с открытым исходным сворачивания зон «песочниц»
• Виртуализация и федерация кодом Arenadata DB и • Возможность эффективной для пилотных проектов и
Arenadata QuickMarts. эксплуатации моделей в SQL- проверки статистических
данных, доступ ко всем
среде с помощью встроенных гипотез.
данным через единое окно с
• Прозрачная методика функций Madlib.
помощью SQL-запросов.
перехода, минимум рисков и • Работа со всеми
сохранение всех аналитическими
преимуществ. инструментами в единой
среде.Скажите «ДА» современной
платформе!
31 12 2021
Скажите «ДО СВИДАНИЯ» Мы обладаем опытом
• закрытой архитектуре миграции клиентов с
• монолитной архитектуре других систем
• vendor lock-in
• высокой ТСОСовременная платформа данных
Источники Транспорт Преобразование и очистка Хранение Представления Визуализация
Любые Bl-средства,
cовместимые
с JDBC/ODBC
In-memory SQL Bl / Reporting
ESB / MB/ MQ
ESB / MB/ MQ Big Data Warehouse Fast flat marts
Ad-hoc &
Data Science
Cold / Unstructured
Data & Cluster Management
On-premise PAAS Public Cloud Private CloudКомпоненты платформы EDP
Хранилище данных Хранение холодных и слабо
Витрины данных In-Memory SQL Streaming (ESB / MB / MQ)
(MPP-СУБД) структурированных данных
Arenadata DB (ADB) — Arenadata Hadoop (ADH) — Arenadata QuickMarts Arenadata Grid (ADG) — Arenadata Streaming (ADS) —
аналитическая, это корпоративный (ADQM) — кластерная система распределённых масштабируемая
распределённая СУБД с дистрибутив на базе Apache колоночная система вычислений в оперативной отказоустойчивая система
открытым исходным кодом, Hadoop, предназначенный управления базами данных, памяти, которая помогает для потоковой обработки
использующая концепцию для хранения и обработки созданная на основе Yandex реализовать real-time данных в режиме реального
MPP (massively parallel слабоструктурированных и ClickHouse. С её помощью вы сценарии обработки данных времени, адаптированная
processing), построенная на неструктурированных можете в режиме реального в составе единой для корпоративного
базе СУБД Greenplum. данных. времени генерировать корпоративной платформы использования и
аналитические отчёты данных. ADG создана построенная на базе Apache
Она реализована на кластере разного плана, используя совместно с компанией Kafka и Apache Nifi.
из множества серверов и большие объёмы Mail.Ru на базе технологии
предназначена для хранения информации, хранящейся в Tarantool.
и обработки больших плоских витринах. ADQM
объёмов данных — до многократно быстрее
десятков петабайт. традиционных СУБД.Задачи для каждого компонента
Хранилище данных Хранение холодных и слабо
Витрины данных In-Memory SQL Streaming (ESB / MB / MQ)
(MPP-СУБД) структурированных данных
Arenadata DB лучше всего Построение распределённой Как использовать: Система класса решений In- Используется как:
справляется с: платформы хранения на базе Memory Data Grid (IMDG).
Apache Hadoop, • В связке с Arenadata DB / • Корпоративная шина обмена
данными для всех
• Сложными запросами, адаптированный для Greenplum Она позволяет построить
• Аналитика над приложений
обрабатывающими большие корпоративного распределённый кэш в
структурированными логами • Среда консолидации
объёмы, в том числе использования для холодных памяти и добавить туда
и событиями больших потоков данных и
содержащими сложные и слабо структурированных функционал базы данных.
• Быстрые витрины управления ими в режиме
аналитические функции данных, которые хранить на
• Распределённые вычисления реального времени
• ETL/ELT
MPP-СУБД или для бизнеса и науки При этом пользователю • Инструмент разграничения
• Эффективным соединением
проприоритарных СУБД было • Анализ серверных логов предоставляется прав доступа к потокам
больших таблиц
бы слишком дорого. возможность крайне быстро данных
• Работой с индексами
получать ответы на запросы • Фреймворк для разработки
• Data Science
потоковых аналитических
• Аналитическими функциями по точечным фильтрам,
приложений за считанные
на процедурных языках буквально в течение
минуты в режиме реального
• Ad-hoc аналитикой миллисекунды. времени и без единой
строчки кода.Преимущества
Arenadata EDP
Поддержка гибридной ИТ-
инфраструктуры или Multi-clouds
Хранение любых типов Обработка любого типа
данных: нагрузки на чтение
Единая точка входа в платформу для
и запись:
• структурированных бОльшей части пользователей
• неструктурированных
• OLAP
• OLTP Модульность
• Streaming
Горизонтальная
масштабируемость всех
компонент
Open SourceВОЗМОЖНОСТИ
ПО ИНТЕГРАЦИИ
Platform
Extension
Framework
(PXF)Виртуальное хранилище
Возможности Виртуального ANSI-SQL ANSI-SQL ANSI-SQL
хранилища на базе
Arenadata Database (ADB): ADB Segment ADB Segment ADB Segment ADB Segment
• Поддержка работы с любыми JDBC-
совместимыми СУБД PXF (Platform eXtension Framework)
• Параллельная запись во внешние СУБД
(Postgres, Oracle, MS SQL, SAP HANA и
пр.)
• Передача предикатов (Predicate
Pushdown)
• Батчинг данных при передаче
• Соединение (JOIN) данных из
источников в real-time ресурсами ADB
• Ролевая модель, разграничение прав
доступа
• Запуск Python-кода поверх всех данных
всех источников
Сервисы SAP SAP SAP 1С
• Запуск предварительного кода во SAP PO 1С Lotus …
BW CRM ERP Bitrix
внешнем источнике (pre-SQL) скороГибридное корпоративное облако
Ваши
собственные
сервисы/
приложения
Слой
компонент данных
Операционный
слой
Upgrade Deployment Management Monitoring
Инфраструктурный
слой
Собственные Частное Публичные
сервера облако облакаEnterprise Multi-cloud платформа данных
• Вы можете развернуть любой
компонент платформы Arendata EDP
как на bare-metal оборудовании, так и
в облаке, или же воспользоваться
востребованным сегодня
сценарием — гибридной ИТ-
инфраструктурой или Multi-clouds.
• Установите EDP распределённо на
разные инфраструктуры, обеспечив
между ними сетевую доступность.Поддержка 24х7
Санкт-Петербург
Москва
Нур-Султан
Хабаровск
Сотрудники
распределены
по часовым
поясамУслуги по поддержке
клиентов
• Vendor support VIP-пакет
• DBA as a service • Выделенный
сервис-менеджер
• Регулярный аудит
24 7 365
часа дней дней • Обновление
в сутки в неделю в году минорных версийНекоторые проекты в ритейле
Задача:
• построить платформу, которая позволила бы
ПРОЕКТ собрать в одном месте все данные компании,
структурировать и описать их, привязать к
ним систему Data Governance;
• добиться соответствия показателей и
возможностей высоким требованиям, чтобы
В ноябре 2017 года в X5 Retail Group были заложены MPP база данных выдерживала высокую
основы для будущего технологического рывка. нагрузку от пользователей (2000 аналитиков
«Главной целью для нас стало построение и более 800 конкурентных запросов);
платформы, которая позволила бы собрать в
одном месте все данные X5, структурировать и • с помощью полученного инструмента начать
описать их, привязать к ним систему Data менять культуру работы с данными внутри
Governance, и с помощью этого инструмента компании.
начать менять культуру работы с данными внутри
компании», — рассказал Андрей Молчанский.
директор департамента разработки и
сопровождения продуктов больших данныхРеализация:
• X5 Retail Group использует Arenadata DB как
ПРОЕКТ приоритетный движок массово-
параллельных расчётов и аналитики в
рамках КХД.
• Также в X5 сейчас идёт перевод
аналитических витрин данных на Clickhouse,
На базе Arenadata DB команда Big Data X5 начала лежащий в основе Arenadata QuickMarts.
строить аналитический слой детальных данных с • В качестве ETL/ELT-средства используется
описанной моделью, бизнес-владельцами доменов, Apache NiFi, один из компонентов
правильно привязанной Data Governance и Classic
Data-Dictionary. В результате у ритейлера
платформы транспорта данных Arenadata
получился надёжный сервис, доступный любому Streaming.
аналитику компании.Результаты:
• X5 Retail Group получила надёжный сервис,
ПРОЕКТ доступный любому из 2000 аналитиков
компании, для принятия быстрых решений
на основе Big Data;
• С помощью Arenadata DB X5 планирует
анализировать все основные домены данных
«Нам важно, чтобы используемые нами BI- в ритейле: товары, чеки, клиентов,
инструменты давали возможность людям контрагентов;
принимать быстрые решения на основе Big Data. И • Компании не отдаёт сторонним подрядчикам
Arenadata DB — та самая база, с помощью которой
мы могли недорого и эффективно реализовать
данные, поскольку вопрос сохранности и
первые кейсы», — считает Андрей Молчанский. защищённости Big Data стоит для неё на
первом месте.
Выбор экспертного
совета GlobalCIOЗадача:
Дирекция региональных продаж ПАО «Газпром
ПРОЕКТ нефть» в конце 2017 года инициировала проект
«Умное озеро данных» по внедрению
Сеть АЗС - розничные комплексной платформы обработки и хранения
продажи
данных с интегрированными компонентами
Data Governance.
Розничные продажи в «Газпромнефть»: Одной из предпосылок проекта выступила
• 1809 АЗС; потребность в надёжном хранилище «сырых» и
• Выручка от реализации сопутствующих товаров и первично интегрированных данных.
услуг сети АЗС «Газпромнефть» по итогам 2018
года составила более 17 млрд руб.;
• Более 29 млн чашек кофе.
Фудсервис и ритейл для заправок не профильный
бизнес, но помогают увеличивать общую
доходность топливных компаний.Реализация:
«Умное озеро данных» включает в себя
ПРОЕКТ • подсистемы Data Governance (каталог данных,
управление качеством данных, бизнес-
Сеть АЗС - розничные
продажи глоссарий, пользовательский портал обзора
данных),
Первые задачи «умного озера данных» включили в
• компоненты интеграции данных,
себя обработку транзакций сети АЗС «Газпром • а также интегрированные с ними
нефть», расчёт сегментов для клиентской компоненты обработки «больших данных»
аналитики, анализ обратной связи от клиентов. В (Data Lake на основе Arenadata Hadoop),
платформу были интегрированы данные
значительного числа внешних источников - • аналитическое хранилище данных, BI,
товарно-сырьевой биржи, Центробанка,
географические и метеорологические ресурсы,
• аналитическую лабораторию с набором
метрики и отзывы Google, App Store, «Яндекс», инструментов Data Science.
открытые данные социальных сетей, различные
данные партнёров и сведения о конкурентах,
данные мобильных приложений.Результаты:
• На текущий момент около всех 50%
ПРОЕКТ аналитических проектов и инициатив
Дирекции региональных продаж ПАO
Сеть АЗС - розничные «Газпром нефть» уже реализуется в контуре
продажи
«умного озера данных», план на 2020 год –
охватить не менее 75%.
Проект создания платформы («Умное озеро • Пользователями «озера данных» являются
данных») реализовал уникальный функционал и аналитики бизнес-подразделений в 29
получил награду «Проект года» Global CIO в
номинации «Аналитические решения и Big Data» за
регионах России и четырёх странах СНГ.
2019 год и отдельного внимания Gartner. • Кроме этого, созданное решение является
поставщиком данных для различных систем
в контуре Компании и в целевом виде – для
внешних партнеров.
Лучший проект
в области Big DataЗадача:
• Создание аналитического хранилища,
ПРОЕКТ отдельного от системы поддержки
управленческой отчётности;
• Объединение трёх «песочниц», уже
действовавших в ИТ-инфраструктуре
ритейлера;
Предпосылки:
• Миграция с SAP HANA;
• В компании существовало КХД (SAP HANA). Оно
прекрасно работало для отчетности; • Снижение стоимости владения DWH в
• В компании высокий уровень компетенций по
пересчёте на терабайт.
DataScience. Требования DS к работе с данными
существенно выше, чем у отчетности;
• Текущее решение не позволяло решить задачи
DS за приемлемый бюджетРеализация:
• Команда «М.Видео-Эльдорадо» остановилась
ПРОЕКТ на технологии Greenplum. Ритейлер сразу
отказался от Community Edition, поскольку
посчитал такой подход рискованным, да и не
соответствующим специфике компании,
которая не склонна расширять свою
В поисках подходящего инструмента, новая деятельность для дополнительной загрузки
команда определила для себя следующие имеющихся мощностей или активов.
критерии:
• Выбирая конкретный продукт, ритейлер
• MPP-база с возможностями горизонтального рассмотрел ПО от двух разработчиков —
масштабирования и полноценного
Pivotal и Arenadata. В результате
распараллеливания;
проведённого конкурса группа «М.Видео-
• Разумная стоимость владения в пересчёте на Эльдорадо» предпочла продукт от
терабайт;
Arenadata — Arenadata DB.
• Классический SQL-синтаксис;
• Приемлемое время отклика.Результат:
• По сравнению со старой «песочницей»
ПРОЕКТ ритейлера, Arenadata DB работает в разы
быстрее;
• Команда заказчика может оперативно
выполнять запросы, работать с большим
количеством источников данных, а сами SQL-
В перспективе «М.Видео-Эльдорадо» планирует запросы составлять без значительного
провести перевнедрение управления overhead’а;
маркетинговыми кампаниями, используя Arenadata
DB как бэкэнд. Раньше для этого служил BW on • Группа «М.Видео-Эльдорадо» теперь
HANA. В новой версии Campaign Management способна производить вычисления и
затронет как кампании, которые запускаются в Ad предобработку с такой глубиной
hoc режиме раз в сутки руками бизнес-
исторических данных, которые было
пользователей, так и автоматические, более частые
рассылки, которые запускаются раз в 10 минут. невозможно выполнять на старой базе.
Например, на сбор витрины Customer 360
теперь уходит не 12 часов, а всего лишь 2 часа.Мнение клиентов
Дмитрий Андрей Сергей Иван
Алексеев Молчанский Носов Черницын
заместитель директор директор по руководитель
директора департамента управлению Центра
департамента разработки и данными аналитических
технологического сопровождения ПАО Ростелеком решений
развития продуктов Дирекции
общебанковских больших данных Х5 региональных
систем ВТБ Retail Group продаж ПАО
«Газпром нефть»
« « « «
Все текущие хранилища данных Нам нравится то, что Посредством перевода Взаимодействие с командой
банка будут поэтапно мигрировать сотрудничество с Arenadata лежит в централизованного хранилища на Arenadata было весьма
на новое целевое единое плоскости совместного развития. стек Open Source удалось эффективным. Специалисты
хранилище, построенное на базе Если у нашего бизнеса появляется сэкономить средства, сравнимые компании помогали с вопросами
ядра розничного хранилища. При необходимость в новом с годовым бюджетом построения внедрения и безопасности,
этом текущую технологическую инструменте, например, хранилищ данных в крупных предлагали собственные
платформу заменит отечественное мониторинге запросов и компаниях. С учетом требований, решения и оперативно выпускали
решение от Arenadata. отслеживании их выполнения, то предписывающих компаниям с релизы с учётом специфических
»
мы просто обсуждаем с коллегами государственным участием требований заказчика.
»
из Arenadata, когда он появится в переходить на отечественное ПО,
road map. это достижение особенно ценно.
» »Наши преимущества
Продукты Arenadata помогают ритейлу построить цифровую платформу,
предоставляющую возможность обрабатывать поступающие данные,
анализировать их, строить разнообразные аналитические модели, снижать
трудовые и временные затраты ресурсов на выполнение рутинных
операций.
Опыт реализации проектов миграции с западных Открытый исходный код,
СУБД и legacy-систем для крупнейших возможность доработки ПО
российских компаний и госорганов
Arenadata выбирают лидеры различных Соблюдение требований о хранении и
индустриальных сегментов российской обработке персональных данных (ФЗ -152)
экономики, являющихся флагманами
цифровизации.
Среди наших партнеров — ведущие системные
интеграторы, облачные провайдеры, разработчики ПО
Снижение до 50% затрат на лицензирование и и оборудования
поддержку ПО3 шага к цифровизации с
Arenadata
1 Расскажите нам о задачах, ИТ-инфраструктуре и получите
рекомендации по компонентам платформы и выбору партнёра.
2 Загрузите бесплатно необходимые пакеты для платформы
данных с нашего сайта.
Разверните нашу платформу в своей инфраструктуре и
3 отправьте нам технические и функциональные
требования, чтобы получить индивидуальное
предложение.Оцените потенциал Big Data и Open Source вместе с Arenadata Enterprise Data Platform • Узнайте больше на arenadata.tech • Скачайте бесплатно на store.arenadata.io • Получите консультацию по почте info@arenadata.io
Вы также можете почитать
