Uttu Customer Data & Analytic Platform Protocol One
←
→
Транскрипция содержимого страницы
Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже
Uttu
Customer Data & Analytic Platform
v1.0a
Октябрь 2018
Protocol One
1
Для кого этот документ
Информация, представленная в данном документе, адресована широкому кругу
участников рынка компьютерных игр, рекламы и аналитики:
● аналитикам и маркетологам;
● издателям, разработчикам игр;
● издательским платформам;
● техническим специалистам;
В документе раскрыты технические и процедурные аспекты работы компонента Uttu
экосистемы Protocol One. Описание всей экосистемы можно найти в документе
Protocol One Whitepaper.
Вступление
Uttu - это открытая аналитическая и маркетинговая платформа для сбора и анализа
данных с поддержкой сквозной атрибуции пользователей с обогащением данных из
внешних источников и прогнозных сервисов. Uttu позволяет автоматизировать
маркетинг и строить гибкие сценарии активного взаимодействия с аудиторией.
Uttu поставляется с открытым исходным кодом под лицензией Apache 2.0. Платформу
можно бесплатно инсталлировать и использовать Uttu на собственном оборудовании
или в облаке.
Экосистема Protocol One предоставляет свое облачное решение “Glutton Uttu” по
модели SaaS. Подробнее о разнице в инсталляциях можно узнать в разделе “Glutton
Uttu”.
Uttu может:
● Давать немедленные ответы на сложные вопросы для пользователей без
технического образования. На основе сырых данных и в реальном времени. Без
семплирования и задержек при поступлении данных.
● Собирать и обрабатывать данные для кроссдоменного, кроссканального
трекинга в вебе, десктоп, мобильных приложениях и играх.
● Строить любые срезы на основе выбранных данных. В Uttu нет ограничений на
число параметров событий и метрик.
● Автоматически обогащать данные из внешних источников и хранить 360° profile
в одном месте.
● Легко интегрировать данные с собственной CRM или e-commerce решением.
● Собирать данные полного цикла от веб-страниц до поведения пользователя
внутри игры, так, что аналитик может напрямую связывать каналы, по которым
пришел пользователь, и его поведение.
● Сегментировать посетителей для определения интересов, предпочтений и
шаблонов поведения. Собирать пользователей в когорты.
2
● Вычислять оптимальный способ взаимодействия с пользователем и отправлять
данные в реальном времени в браузер, где эти данные используются для
принятия решений.
● Использовать машинный анализ данных и предикторы для поиска
закономерностей в большом объеме данных.
Для взаимодействия между участниками и обмена данными об играх и аудитории
используется формат Open Game Data Exchange.
Дорожная карта
Мы привлекаем как можно большее число компаний и специалистов, работающих с
данными, чтобы сделать Uttu проще и лучше. В настоящее время Uttu находится в
стадии активной разработки и подготовки к публичному запуску. Ниже представлена
дорожная карта на ближайшие 4 итерации Uttu.
Версия Дата Ключевые задачи
1.0a ноябрь 2018 Спецификации Uttu, реализация сбора и нормализации
данных, базовые отчеты и BI дашборд.
1.0b март 2019 Первая версия продукта и интеграция с GameNet,
Super.com. Базовый набор предиктивных сервисов,
реализация конструктора сценариев. Базовая интеграция
указанных в данном документе CPA-сетей.
1.0rc июль 2019 Интеграция рекламных сетей, первая реализация
коннектора к Open RTM. Реализация встроенных
инструментов для BI-аналитики. Подготовка к релизу.
1.0r ноябрь 2019 Релиз и начало коммерческой эксплуатации.
3
Вступление 2
Дорожная карта 3
Начало работы 5
Что происходит с данными 5
Сеанс 6
Сегменты 6
Структура 7
SDK 8
Bulk Import API 9
Data Hub 9
Инструменты аналитики 10
Конструктор сценариев 10
Панель инструментов 11
Многоканальные последовательности 13
Работа с сырыми данными 14
Поддержка SQL 14
Предиктивные сервисы 15
Рекламные сети 16
Архитектура 17
Технологический стек 17
Обработка событий 17
Рекомендованное оборудование 17
Маштабируемость 18
Хранение данных 18
Хранение данных на диске 19
Распределенная обработка запроса 19
Защита данных 19
Glutton Uttu 20
Отказ от обязательств 21
Приложение 1. Установка по умолчанию 22
4
Начало работы
Информация о действиях пользователя на веб-страницах, в приложениях и играх
собирается и обрабатывается сервисами Uttu. Обработанные данные используются
для персонализации контента, анализа поведения пользователей, классификации
пользователей по сегментам по указанным аналитиком измерениям, построения
прогнозных моделей с данными. Данные, отчеты и сценарии, созданные в Uttu, могут
использоваться для интеграции и встраивания во внешние CRM и рекламные
системы.
Для начала работы потребуется интегрировать SDK в источники данных (на свой сайт,
в приложение или игру) и настроить проект в Uttu. При необходимости импортировать
имеющиеся данные.
Что происходит с данными
Uttu использует концепцию событий для сбора и обработки информации пользователя
и может принимать события произвольной семантики и структуры. Каждое событие
хранит информацию о времени, типе и дополнительных данных, характеризующих
параметры события. Вне зависимости от структуры, события будут нормализованы,
обработаны, сохранены и доступны для построения отчетов и сегментов.
Обычно события представляют собой информацию о действии пользователя или
изменение каких либо характеристик. Обрабатывая события, Uttu строит
представление каждого конкретного пользователя и его поведения, собирая данные в
профиле:
● Персональные данные (имя, возраст и другие персональные данные).
● Уникальные идентификаторы (почта, куки, фингерпринт, идентификаторы
платформ и социальных сетей, идентификаторы устройств).
5
● Покупки.
● Социальный профиль (чем интересуется, как реагирует на контент в соц. сетях,
граф друзей).
Важное особенность Uttu — работа с большими объемами данными в режиме
реального времени. Данные хранятся в колоночном виде, при этом можно хранить
триллионы событий и использовать произвольное число параметров у таких
событий. Uttu умеет хранить параметры в виде отдельных кортежей или
вложенных структур данных, по которым вы можете строить отчеты. Смотрите
ранение Данных, чтобы понять как это стало возможным.
раздел Х
Большинство людей используют разные устройства, браузеры и приложения. Не
всегда просто установить соответствие между профилем пользователя и конкретным
человеком. Uttu SDK использует специальные запросы к серверу, чтобы получить
клиентский идентификатор пользователя. В дальнейшем такой идентификатор
передается с каждым запросом к серверу Uttu. Иногда данные одного человека
хранятся в разных профилях — по мере получения новой информации профили
объединяются.
Uttu соответствует всем требования GDPR по хранению персональных данных.
Сеанс
Сеанс представляет собой ограниченное по времени взаимодействие между
пользователем и приложением с интегрированным Uttu SDK. Сеанс позволяет
группировать последовательность действий, выполненных пользователем в течение
его продолжительности. В контексте веб-приложений сеансы обычно связаны с
сеансами HTTP. Для мобильных и десктоп приложений — периоды активности
пользователей в приложении.
Уникальные идентификаторы, идентификаторы сессий и клиентский идентификатор
используются для сквозной атрибуции одного пользователя между разными сайтами и
приложениями. Uttu также использует уникальные идентификаторы для объединения
профилей.
Сегменты
Uttu позволяет использовать отдельные события, их совокупность и
последовательности, обогащенные данные и аналитику предиктивных и прогнозных
сервисов для создания произвольного числа пользовательских сегментов.
В Uttu есть возможность строить сегменты на основе многомерной кластеризации,
например RFM/RFD/RFE, и строить Look-a-like сегменты на основе уже имеющихся.
Сегменты позволяют анализировать эффективность отдельных групп трафика или
разбивать профили по типам взаимодействия. Можно выбирать встроенные сегменты
6
или делать новые посредством визуального конструктора и применять их к текущим
или ранее собранным данным, сравнивать параметры в разных подгруппах.
Каждое событие или их последовательность вместа с произвольным набором правил
превращается в отдельные микросегменты, который можно комбинировать в более
сложные сегменты или атрибуты. При этом разметка пользователей по сегментам
работает в реальном времени.
Используя визуальный редактор, аналитик может подготовить именованную
группу сегментов и микросегментов для использования в маркетинге.
Использование таких сегментов для RTB или анализа качества трафика не
потребует от маркетолога их настройки и обслуживания. Смотрите Конструктор
сценариев, чтобы понять как это стало возможным.
В качестве источника данных для построения сегментов могут использоваться как
данные, собираемые Uttu, так и внешние источники — игровые и CRM базы данных,
данные из внешних систем аналитики (Google Analytics, Adobe, MixPanel и другие) или
загруженные с помощью Bulk Import API.
Сегменты применяются для анализа и выделения групп пользователей, интеграции с
RTB, экспортом данных во внешние DMP или подготовки обновляемых ретаргетинг
списков. Такие данные в Uttu называются “экспортируемый сегмент” и могут
формироваться в обезличенном виде.
Структура
Работа с Uttu предполагает пользование веб-интерфейсом, клиентскими
библиотеками и несколькими API. Всю цепочку сбора и обработки данных можно
разделить на шесть основных частей:
● Сбор данных. Совокупность SDK и API для загрузки данных из разных
источников.
● Зеркалирование. Отдельный класс API для перенаправления данных во
внешние системы и создание сервисов, которые реагируют на поступающие
сырые данные в реальном времени.
● Обогащение. Совокупность микросервисов и API расширения для поиска,
сбора и структурирования различной дополнительной информации, например,
данных о географии, устройствах, социальном профиле и т.д.
● Обработка. Слой, подготавливающий обработанные и обогащенные данные к
записи. Реализует перенаправление подготовленных данных во внешние
системы.
● Хранение. Распределенная и защищенная инфраструктура для хранения и
прямого доступа к данным.
7
● Анализ. Совокупность инструментов визуализации данных и инфраструктура
прогнозных и аналитических сервисов, для предиктивного, статистического и
поведенческого анализа.
Поступающие в публичное API данные попадают в инфраструктуру поточной
обработки данных. Данные нормализуются и отправляются в различные сервисы для
обогащения данных и прогнозных сервисов. На этом этапе происходит выделение
сегментов, обработка сценариев и запись в хранилище. В разделе “Архитектура”
можно подробнее ознакомиться с технологическим стеком.
SDK
В Uttu доступны несколько решений для сбора данных из разных источников:
● Web SDK для отслеживания действий пользователей на сайтах и в
веб-приложениях.
● App SDK для отслеживания действий и сбора данных об оборудовании для
десктопных приложений.
● Game SDK для интеграции с Unity, Unreal Engine.
● Mobile SDK для отслеживания действий пользователей в мобильных
приложениях на базе Android и IOS .
App SDK позволяет отслеживать поведение и сложный путь пользователя — от
веб-страницы до инсталлятора и приложения. Включив функцию “Сквозные
8
данные”, можно передавать и получать дополнительные данные внутри
приложений. Это может быть полезно, когда пользователь регистрируется на веб
сайте и скачивает приложение и игру. Используя “Сквозные данные”, пользователь
будет авторизовываться в приложении автоматически.
Для интеграции с системами электронной коммерции можно использовать Web SDK
или установить расширение. Поддерживаемые в настоящее время системы: Shopify,
Ecwid, Wechat, Wix, 3dcart, Wordpress, BigCommerce, Magento, Volusion, Big Cartel.
Bulk Import API
Массовый импорт активно используется при миграции в Uttu из уже используемых
систем сбора данных и аналитики и позволяет в автоматическом режиме
импортировать данные:
● напрямую из SQL (любой ODBC-совместимый источник)
● NOSQL баз данных.
● с помощью REST API.
Uttu поддерживает несколько режимов обновления из внешних источников:
● Единовременная загрузка.
● Полная перезагрузка данных по расписанию.
● Инкрементальная загрузка.
● Переагрегация данных.
Например, Bulk Import API используется для импорта данных из сервиса Protocol One
Hardware statistic. Это позволяет использовать данные об оборудовании
(операционная система, видеокарта, процессор, монитор, наличие камеры,
микрофона, шлема виртуальной реальности) как для таргетинга и сегментации в Uttu,
так и для экспорта обогащенных данных во внешние сегменты.
Data Hub
Data Hub — это центральный узел Qilin и экосистемы Protocol One DRM, выступающий
независимым посредником для создания и хранения общей для всех участников
экосистемы информации.
Экосистема P1 Data Hub включает в себя разные сервисы и подсистемы,
отправляющие, обогащающие и агрегирующие данные в одном месте. Главным
образом Qilin Data Hub используется для синхронизации данных о цифровых товарах
для всех участников экосистемы и агрегации и хранения данных о продажах и роялти
отчетах.
Uttu интегрирована с Data Hub и умеет отправлять и принимать данные из платформы
Qilin.
9Инструменты аналитики
Автоматическая атрибуция трафика и его группировка в сегменты, связанные с
маркетинговыми и рекламными кампаниями — важная часть Uttu и один из
центральных каналов информации о поведении пользователя. Органический трафик и
трафик поисковых систем, а также данные о пользователях, приходящих из
социальных сетей, также собираются в сегменты, доступные по умолчанию. На основе
таких сегментов создаются списки ретаргетинга.
Мы планируем открыть несколько сервисов эвристических отчетов для анализа
органики. В настоящее время в Uttu не хватает данных, чтобы поднять точность
таких отчетов.
Конструктор сценариев
Последовательности событий (аналог “целей” Google Analytics) в Uttu создаются с
помощью конструктора сценариев:
На схеме выше мы описываем поведение Uttu для пользователей, пришедших по
рекламной кампании Google Adwords — для всех пользователей, совершивших
первую покупку, мы отправим уведомление, вызовем webhook во внешней системе и
отправим почту, например, счёт.
Конструктор решает две задачи:
● возможность визуально программировать сценарии взаимодействия с
пользователем.
● создание новых сегментов на основе последовательности событий.
10При необходимости сценарии можно использовать для создания новых сегментов.
Такие сценарии могут включать не только события, но и условия, другие сегменты и
сценарии, операторы управления временем.
Конструктор сценариев позволяет создавать сложные сценарии взаимодействия с
пользователями, например, различные реакции на основе A/B тестов:
Такой сценарий будет выполняться только для указанного сегмента и устанавливает
разные значения для переменной, получить которую можно с целевой страницы.
Инструменты A/B можно использовать для отправки различных уведомлений (почта,
push-уведомления, SMS и т.д.).
11Панель инструментов
По умолчанию Uttu поддерживает несколько панелей инструментов — Grafana и
собственное решение. Вы можете подключать и любые решения для визуализации
данных и BI, которые поддерживают доступ к данным, с помощью ODBC.
В качестве источников данных выступают данные Uttu, общие данные экосистемы P1 и
внешние источники данных, подключаемые через коннекторы (базы данных, google
docs, csv, API данных и т.п.). Интерфейс агрегации позволяет BI-приложению получать
доступ к рассчитываемым в реальном времени отчетам, гибко настраивая меры и
измерения, построенные над комбинацией данных из разных источников.
BI дашборд Uttu отвечает за визуализацию данных и поддерживает:
● Все необходимые для анализа виджеты. Графики и диаграммы, таблицы,
карты, фильтры и переключатели
● Связность виджетов. Применение одного фильтра к группе виджетов
одновременно, drill-down, встраивание виджета в другой виджет (например,
таблица для каждой точки графика).
● Гибкая работа с датасетом. Математические функции, агрегации, скользящие
агрегации, оконные и текстовые функции, сложные вычисления с
использованием Python и R.
● Переменные: персональные и групповые пользовательские, сессионные,
кастомные
● Оповещения для виджетов. По электронной почте, через SMS и мессенджеры.
На базе пороговых значений, трендов или паттернов.
● Комментарии к конкретным элементам виджета и к календарным событиям, с
гибкой настройкой видимости.
● Удобный шаринг. Статичные pdf-представления для большинства виджетов.
Сохранить и отправить по почте можно за 3 клика.
Настройка визуализации происходит в конструкторе или путем выбора фрагментов из
библиотеки шаблонов.
12Данные, выбранные пользователем отчета в виджете, могут быть немедленно
использованы для создания сегмента или когорты в других элементах P1, в том числе
с функцией нахождения похожей аудитории для таргетинга рекламных сообщений.
После первичной настройки панель инструментов содержит (примеры конкретных
отчетов в Приложении 1) следующие элементы:
● Сквозная аналитика по всем каналам и точкам взаимодействия с
пользователем
● Идентификация источника перехода по рекламным кампаниям на базе
UTM-меток, из социальных сетей, поисковых систем по ключевым словам,
органический трафик.
● Шаблоны отчетов по рекламным кампаниям, источникам трафика, устройствам,
страницам входа и т.д.
● Инструменты для конструирования сегментов, включая look-a-like механики по
всей базе пользователей
● Возможность построить произвольный отчет, без необходимости заранее
планировать модели данных
● Отчёты по многоканальным последовательностям
Многоканальные последовательности
В простом случае системы аналитики связывают совершение целевого действия
пользователем с одним из источников: первое, последнее и последнее эффективное
взаимодействие.
Принцип многоканальных последовательностей состоит в отслеживании всей истории
взаимодействия (кликов и переходов), которые привели к совершению целевого
действия. Окно ретроспективного анализа может быть настроено и составляет по
умолчанию 30 дней.
Такой подход позволяет оценить вклад каждого канала в совершение пользователем
целевого действия.
В сценариях по многоканальным последовательностям можно выяснить:
● Роль (вес) конкретного канала, ассоциированного с целевым действием
● Пути конверсии: основные паттерны, которые приводят к целевому действию,
время до целевого действия, длина последовательности (количество
взаимодействий с каналами)
Мы активно работаем, чтобы найти решение эффективного взаимодействия с
отчетами электронной коммерции. Это позволит корректно и достоверно
сопоставлять расходы и доходы с учетом всей цепочки многоканальной
последовательности.
Принцип работы разных источников:
13● Первое взаимодействие. Зачастую используется для отслеживания
отложенной конверсии, когда между первым визитом (действием) и
совершением целевого действия проходит значительное время. В этом случае
любые визиты из любых источников будет ассоциированы с источником, по
которому пользователь совершил первый визит.
● Последнее взаимодействие. Эта модель не учитывает историю визитов
пользователя и все действия ассоциируются с текущим источником перехода.
● Последнее эффективное взаимодействие. Используется по умолчанию и
позволяет более точно рассчитывать конверсии. Все источники разделяются на
несколько списков — значимые (реклама, ссылки на сайтах, поисковые
системы, социальные сети и почтовые рассылки) и вторичные (прямые и
внутренние переходы, переходы с сохраненных страниц). Визиты из вторичных
источников ассоциируются с наиболее значимым основным источником.
При создании отчетов можно выбирать разные модели взаимодействий.
Работа с сырыми данными
При работе со сложными сценариями или создании новых прогнозных/аналитических
сервисов аналитику требуется доступ к сырым данным. С Uttu можно загрузить
настроенный пример Jupiter`s Notebook для быстрого старта.
Поддержка SQL
Uttu поддерживает декларативный язык запросов на основе SQL, во многих случаях
совпадающий с SQL стандартом. Поддерживаются GROUP BY, ORDER BY,
подзапросы в секциях FROM, IN, JOIN, а также скалярные подзапросы. Зависимые
подзапросы и оконные функции не поддерживаются.
Данные не только хранятся по столбцам, но и обрабатываются по векторам —
кусочкам столбцов. За счёт этого достигается высокая эффективность по CPU.
База данных поддерживает не только массивы, но и вложенные структуры и кортежи
— события с произвольным набором параметров хранятся естественным образом.
Блокировки при добавлении данных отсутствуют — можно добавлять и обновлять
данные в реальном времени.
Физическая сортировка данных по первичному ключу позволяет получать данные для
конкретных его значений или их диапазонов с низкими задержками - менее десятков
миллисекунд.
Низкие задержки позволяют не откладывать выполнение запроса и не подготавливать
ответ заранее, а выполнять его именно в момент загрузки страницы
пользовательского интерфейса. То есть, в режиме онлайн.
14Реализация SQL имеет поддержку приближенных вычислений:
1. Агрегатных функций для приближённого вычисления количества различных
значений, медианы и квантилей.
2. Поддержка запросов на основе части (выборки) данных и приближенные
результаты.
3. Возможность выполнять агрегацию для ограниченного количества первых
попавшихся ключей. При выполнении некоторых условий на распределение
ключей в данных это позволяет получить достаточно точный результат с
использованием меньшего количества ресурсов.
Более подробную информацию можно получить по ссылке.
Предиктивные сервисы
Предиктивные сервисы Uttu решают предельно прикладные задачи и используют
проверенные механизмы
Предсказание индивидуального поведения пользователя. Рекомендательная
система и платформа предсказаний на основе алгоритмов машинного обучения
● Предсказание LTV и времени жизни в игре. Для каждого игрока можно
предсказать, когда он покинет игру, для игр с free-to-play моделью можно
предсказать суммарную выручку с конкретного игрока. Для предсказания
достаточно нескольких первых дней игры. Далее предсказание уточняется с
повышением точности.
● Сценарии “что если…”. Для каждого игрока или когорты возможно предсказать
эффективность маркетинговой коммуникации или последствия изменения
последовательности таких коммуникаций.
● Индивидуальные рекомендации конкретных игр, жанров и сеттингов. Для
создания сегментов с высокой эффективностью рекламы.
● Индивидуальные рекомендации цен. Анализируя паттерны поведения игроков,
возможно построить индивидуальное скидочное предложение: размер скидки и
её точный тайминг.
● Лучшее время доставки сообщений. Для каждого пользователя возможно
предсказать оптимальное с точки зрения конверсии время доставки сообщения
(с учётом дня недели, времени суток, часового пояса, индивидуальных
паттернов пользователя)
Предсказательный сервис опирается на большой массив данных. Речь идет как о
данных, принадлежащих конкретному бизнес-пользователю системы, так и об
обезличенной статистике всех пользователей экосистемы P1, а также об обогащенных
данных из внешних источников. Форматы обмена данными в системе базируются на
Open GDE.
По умолчанию предсказательные сервисы не создают новые события и отвечают
только за обогащение данных или построение ассоциированных с ними отчетов. При
15этом инфраструктура обработки может использовать данные таких сервисов в
качестве условий в конструкторе сценариев:
В примере выше все зарегистрированные по указанной рекламной кампании
пользователи получат разные уведомления на почту, в зависимости от предсказанного
пола, если точность предсказания превышает 90%.
Рекламные сети
Конструктор сценариев Uttu позволяет автоматизировать S2S интеграции с большим
перечнем рекламных платформ, работающих по модели CPA (Cost Per Action) и CPL
(Cost Per Lead).
Поддержка рекламных сетей Clickbooth, MaxBounty, admitad, alimama, W4,
PeerFly,CPA Lead, Madrivo, qiyou, ClickDealer, everad, MonsterAds доступна сразу
после установки Uttu.
Рекламный модуль Uttu позволяет маркетологу настроить S2S интеграцию с любой
рекламной сетью и немедленно приступить к определению сегментов и отчетов без
помощи инженеров, используя только визуальный конструктор.
Мы работаем над тем, чтобы интеграция Uttu с сетями программатик-рекламы на базе
Open RTB и Header Bidding была максимально простой. В настоящее время Uttu в
16качестве DSP/DMP провайдера можно интегрировать с RTBkit (Bidder-as-a-Service),
Vanilla-rtb, platform.io и Adkernel.
Наша конечная цель — реализация встроенного Open RTB модуля и создание
инфраструктуры для быстрой интеграции с SSP и AdExchange платформами и
компаниями.
Архитектура
Технологический стек
● DNS роутинг на базе географических зон.
● HTTPS на базе Nginx
● Сервера API, обогащения данных на базе автосканируемой группы в kubernetes
● Go и JavaScript ES6 как основные языки.
Обработка событий
● Входящие события пишутся в Kafka Streams
● Данные пользователей и сегменты хранятся в Mongo и ClickHouse.
● Обработчики данных (обогащение, ML и другие) на базе автоскалируемой
группы в kubernetes читают данные из Kafka и выполняют сегментацию, вызов
триггеров, и обработчиков в реальном времени.
● События и сегменты сохраняются в Mongo (пользователи,сегменты и
сценарии), Clickhouse (сырые данные, отчеты, тренды), Elasticsearch (поиск).
17Рекомендованное оборудование
Оптимальный выбор оборудования — сложная задача, которая зависит от большого
числа факторов: объемы поступающих и хранимых данных, количество и сложность
интеграций и требований к SLA.
Для самостоятельной инсталляции Uttu на собственное оборудование, при условии,
что количество ваших данных небольшое — до 200 гб сжатых данных в месяц (до 300
млн событий в день) — мы даём следующие рекомендации:
● Исходя из политики отказоустойчивости вам потребуется не менее 3 серверов
на каждую кластер-группу (Kubernetes, Clickhouse, Mongo, Redis, ElasticSearch,
Kafka).
● Рекомендованная конфигурация сервера:
○ Clickhouse:
■ 2 x Intel Xeon E5-2630 v4
■ 128 GB RAM
■ RAID-10 (или 5, 6, 50) на 8 и более SAS-дисках со скоростью
вращения шпинделя от 10k или SSD
■ 10 Gbps сетевые интерфейсы
■ Рекомендации ClickHouse:
https://clickhouse.yandex/docs/en/operations/tips/
○ Redis, Mongo, Kafka, ElasticSearch:
■ 2 x Intel Xeon E5-2630 v4
■ 256 GB RAM
■ RAID-10 из 4-х SSD 400 GB
○ Kubernetes:
■ Виртуальные машины с 8 GB RAM и 8 VCPU
Маштабируемость
Все компоненты основной архитектуры легко масштабируются горизонтально на
основе используемых ресурсов для хранения и обработки данных. Uttu хранит
большие объемы данных, эффективная и рентабельная работа с непрогнозируемой
нагрузкой — наша цель.
Хранение данных
Основная база данных Uttu — Yandex Clickhouse. Это открытая и очень быстрая
столбцовая система управления базами данных (СУБД) для онлайн-обработки
аналитических запросов (OLAP).
В отличие от распространенных методов управления данными, где огромное
количество необработанных данных в собственном формате доступно в виде "озера
18данных" для любого запроса, ClickHouse предлагает мгновенные результаты в
большинстве случаев: данные обрабатываются быстрее, чем требуется для создания
запроса. Она способна обрабатывать до двух терабайт данных в секунду, по
последним измерениям сравнима с (а зачастую быстрее) Vertica. Также можно
ознакомиться с несколькими независимыми тестами: Spark , MySQL и Redshift.
Хранение данных на диске
Многие колоночные СУБД (SAP HANA, Google PowerDrill) могут работать только в
оперативной памяти. Такой подход стимулирует выделять больший бюджет на
оборудование, чем фактически требуется для анализа в реальном времени.
ClickHouse спроектирован для работы на обычных жестких дисках, что обеспечивает
низкую стоимость хранения на гигабайт данных, но SSD и дополнительная
оперативная память тоже полноценно используются, если доступны.
Распределенная обработка запроса
Большие запросы естественным образом распараллеливаются для выполнения на
всех доступных процессорных ядрах, используя все необходимые ресурсы из
доступных на сервере.
Почти все перечисленные ранее столбцовые СУБД не поддерживают распределенную
обработку запроса. В ClickHouse данные могут быть расположены на разных шардах.
Каждый шард может представлять собой группу реплик, которые используются для
отказоустойчивости. Запрос будет выполнен на всех шардах параллельно. Это
делается прозрачно для пользователя.
Защита данных
Работа с данными и их хранение в Uttu соответствует GDPR.
● Protocol One контролирует физическое расположение хранилищ
пользовательских данных Uttu.
● Все внешние сервисы, службы и компоненты, которые взаимодействуют с
пользовательскими данными Uttu, соответствуют GDPR, список таких сервисов
доступны на публичной странице.
● Сервисы сбора персональных данных Uttu всегда получают согласие
пользователя. Данные о согласии хранятся и факт согласия всегда может быть
доказан.
● Uttu не собирает персональные данные до согласия конечного пользователя
или законного представителя пользователя, не достигшего указанного
законодательством возраста (для Европы – 16 лет).
● Конечные пользователи в явной форме получают возможность ознакомиться с
политикой конфиденциальности Uttu. Политика написана простым и понятным
языком.
● На сайте Uttu предусмотрены формы для запроса на удаление данных.
19● Сотрудники Protocol One обучены должным образом для работы с данными в
соответствии с GDPR
● Обо всех несоответствиях (или подозрениях об их существовании) можно
сообщить на контактный email или через форму на сайте.
● На любые вопросы конечных пользователей по поводу пользовательских
данных ответ будет дан не позднее 30 дней со дня обращения.
● Для граждан Евросоюза Uttu не собирает данные о расе, политических
взглядах, религии, здоровье и сексуальной ориентации и данные, из которых
можно получить такие сведения опосредованно.
● У Protocol One есть публичная страница, где разъяснены все аспекты
соответствия GDPR
Glutton Uttu
Uttu — бесплатная и открытая платформа, вместе с тем Protocol One использует
собственную инсталляцию Uttu для предоставления услуг на базе SAAS и интеграции
Uttu с другими своими сервисами. Большая часть возможностей доступна в открытой
версии платформы, часть реализована и доступна только в Glutton Uttu. Ниже
перечислены только подобные функции:
Возможность Glutton Uttu
Инфраструктура с гарантированным SLA и поддержкой Да Нет
Соответствующая GDPR инфраструктура Да Нет*
Интеграция с внешними CRM Да**
Предиктор социального профиля пользователя Да Нет
Индивидуальные рекомендации конкретных игр, жанров и Да*** Нет
сеттингов.
Индивидуальные рекомендации цен. Да*** Нет
Предиктор лучшего время доставки сообщений. Да Нет
Инструменты RFM анализа Да Частично
Интеграция с Protocol One Data Hub (CDP) Да Нет
Интеграция внешних сегментов из DMP Да Частично****
Готовые к работе CPA интеграции Да Нет
Open RTB как сервис Да Нет
20* Самостоятельная инсталляция Uttu потребует самостоятельно заботиться о
соответствии законам о хранении персональных данных. При этом мы предоставляем
лучшие практики и любую помощь, чтобы построить такую инфраструктуру.
** Не все виды интеграций разработанных командой Protocol One публично доступны в
Uttu. Часть из них распространяется на коммерческих условиях.
*** Для эффективной работы сервиса нужна интеграция с Protocol One Data Hub.
**** В Uttu есть все необходимые API и инструменты для такой интеграции. В Glutton
Uttu подключен перечень провайдеров DMP “из коробки” так, что их данные можно
использовать сразу после регистрации.
Использование Uttu в самостоятельной инсталляции есть и будет бесплатным. Ниже
представлен примеры формирования будущих комиссий Glutton Uttu SAAS как части
платформы Protocol One (детально комиссии будут описаны в WP 1.1 в марте 2019):
● Бесплатно, пока количество хранимых данных не превышает 10 гигабайт, далее
$10 за каждые 10 гигабайт данных в месяц.
● Использование CPA/RTB интеграции 0.1-2% выручки от таких инструментов.
● Отдельная тарификация предикторов.
● Коммерческая инсталляция и консалтинг для собственных инсталляций Uttu.
Отказ от обязательств
Настоящий документ не является предложением к инвестированию или
осуществлению любого другого типа материальной поддержки проекта Protocol One,
Uttu или Open Game Data Exchange. Основной целью этого документа является
подробное и всестороннее описание Uttu.
Заявления и другая информация декларативного характера, содержащаяся в данном
документе, не должны пониматься в качестве прямых заверений или обещаний за
исключением случаев, где на это прямо указывается.
В текущей редакции мы активно собираем обратную связь от аналитиков,
маркетологов, разработчиков и издателей видеоигр, магазинов и платформ, чтобы
сделать спецификацию лучше, а создаваемый нами продукт — проще и удобнее для
всех участников.
21Приложение 1. Установка по умолчанию
Сразу после установки Uttu специалисту по работе с данными доступен набор
предустановленных и настроенных сегментов, событий и данных.
Параметры
● Источники
○ Параметры на основе UTM-меток (Кампания, Содержание объявления,
Источник, Ключевое слово, Тип канала)
○ Социальные сети (facebook.com, youtube.com, twitter.com, reddit.com,
vk.com)
○ Поисковые системы, сайты и страницы, с которых осуществлен переход.
● Технологии
○ Тип устройства (ПК, Мобильный телефон, Планшет, ТВ)
○ Бренд и модель устройства (для мобильного телефона, планшета,
телевизора).
○ Семейство операционной системы и её версия (Windows, Android, IOS и
т.д).
○ Браузер (семейство, версии, поддерживаемые возможности)
○ Наличие и версия Flash, Java.
○ Параметры дисплея.
● Контент
○ Страница входа
○ Страница посещения
○ Страница выхода
● География
○ Страна
○ Область (административная единица)
○ Город (населенный пункт)
Показатели
1. Количество сеансов
2. Количество посетителей (посетитель - пользователь сайта в пределах одного
браузера)
3. Количество пользователей
4. Среднее количество уникальных страниц за сеанс
5. Количество просмотров страниц
6. Уникальное количество просмотров страниц
7. Средняя длительность сеанса
8. Показатель отказа
9. Количество конверсий
2210. Коэффициент конверсии (кол-во сеансов с уникальной конверсией/кол-во
сеансов)
11. Данные в реальном времени по срезам (активные сеансы, конверсии,
источники, кампании, страницы, события)
Отчеты
1. Маркетинговая активность ( “Кампания - Источник - Ключевое слово”), строится
на основе значений utm-меток. Используемые показатели:
○ Количество сеансов.
○ Количество посетителей.
○ Количество пользователей.
○ Средняя длительность сеанса.
○ Показатель отказа.
○ Количество конверсий.
○ Коэффициент конверсии (кол-во сеансов с уникальной.
конверсией/кол-во сеансов).
○ Содержание объявления.
2. Отчет по источникам трафика (общий), сгруппированным по категориям.
○ Рекламные кампании (весь трафик, размеченный utm метками).
○ Трафик из поисковых систем (трафик из известных поисковых систем).
○ Трафик из социальных систем (трафик из известных социальных
систем).
○ Трафик с сайтов (трафик со всех остальных типов сайтов).
○ Второй уровень показателей - источники трафика, в том числе на основе
utm source.
3. Отчет по устройствам.
4. Отчет по браузерам.
5. Отчет по страницам входа.
6. Страница посещения по страницам и событиям.
○ Уникальные просмотры страницы.
○ Просмотры страницы.
7. Отчёт эффективности рекламной кампании на основе источников трафика,
сгруппированных по категориям.
○ Стоимость рекламы (при подключении внешнего источника данных)
○ Gross-выручка от рекламы.
○ Прибыль от рекламы.
23Вы также можете почитать
