КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews

Страница создана Диля Большакова
 
ПРОДОЛЖИТЬ ЧТЕНИЕ
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
ICL Services
КАК СОБРАТЬ ПОЛЕЗНОЕ
ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ
НЕСОВЕРШЕННЫ

Дмитрий Каштанов, 21.02.2019
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Пару слов об ICL Services

                                            Более 2500                           Клиенты на
 Что мы делаем                              сотрудников                          5 континентах

   Сервис Деск                              Растем в 2 раза                      Офисы в 5 городах
                                            быстрее рынка                        России и Сербии
   Удаленное администрирование
   инфраструктуры клиента
   Разработка и сопровождение    Как мы работаем:
   бизнес-приложений
                                 01   Четкие системы контроля качества оказываемых услуг
   Обслуживание рабочих мест
   ИТ и бизнес консалтинг        02   Постоянное улучшение сервиса
   Управление рабочими           03   Гибкость услуг в соответствии с пожеланиями клиентов
   местами пользователей              Реализация проектов любой сложности, всегда делаем полноценный
   Внедрение цифровых            04   Transition перед началом оказания сервисов
   технологий
                                      Многоуровневый каталог услуг позволяет выбирать только
                                 05   необходимые сервисы, с подробным Service description и SLA

                                                                                                       2
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Пример процесса, который мы роботизировали с помощью ИИ

  Регистрация     Маршрутизация      Решение    Закрытие

                 Досбор информации
                 Классификация
                 Назначение на
                 группу решения

                                                           4
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Что делает ИИ
                                                                        22 секунды
                                          Действия робота               с момента создания обращения
                              Машинное обучение
        Робот анализирует
                              Глубокое обучение             Действия человека
         новое обращение
                              Обработка естественного
                              языка

                                    Робот оставляет                              Агент изменил
 Нет          Робот                                                             классификацию
             уверен?               запрос в очереди с                              в процессе
                                   подсказкой агенту                              назначения?

                   Да               Нет                            Да                                 Нет
                                        Робот
                                                                Неверно (по мнению          Верно (по мнению
       Робот классифицирует             может
                                      назначить?                  назначающего)              назначающего)

                                              Да                        2%                       23%
         Робот отказался         Назначение выполнено
        классифицировать               роботом

              60%                         15%                                                                  5
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Что получилось
                                                          100%
Эффект: -7% трудозатраты, +3 пункта SLA                    90%
                                                           80%
Объём: 1-я линия Сервис-деска – 6000+ заявок/месяц         70%
                                                           60%
Язык: Русский
                                                           50%
Разнообразие: 510+ категорий заявок                        40%
                                                           30%
Технологии: Python, TensorFlow, ITSM Automation Interface 20%
Windows, DevOps, Ansible, BDD
                                                           10%
Результат: 15% заявок назначается на 2-ю линию за 22
сек                                                              2018- 2018- 2018- 2018- 2018- 2018- 2019- 2019-
                                                                  07    08    09    10    11    12    01    02
                                       7. Робот отказался
                                                               65%     64%   60%   60%   63%   60%    64%   61%
                                       классифицировать
                                       3. Назначение выполнено
                                                               11%     14%   17%   17%   15%   13%    14%   16%
                                                роботом
                                       2. Неверно (по мнению
                                                                2%      1%    2%    2%    2%    1%    1%    1%
                                           назначающего)
                                       1. Верно (по мнению
                                                               21%     20%   21%   21%   20%   25%    21%   22%
                                          назначающего)                                                            6
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Как развивалось решение
                 100%
                 90%
                 80%
                 70%
                 60%
      Отказ
              50%
      Неверно
      Верно   40%
              30%
                 20%
                 10%
                  0%
  Версия                           1.0
                                   1.0                                      2.0
                                                                             2.0                                   3.0
                                                                                                                    3.0
  Набор данных                  Базовый                                Расширенный                             Расширенный
                                                                                                         TensorFlow, Keras, Region
  Технологии            fastText, Ubuntu + Windows               fastText, Ubuntu + Windows
                                                                                                           Embedding, Windows
  Общие технологии                       Python 3.6, ITSM Automation Interface, Ansible, Behavior Driven Development

                                                                                                                                     7
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Как собираем полезное решение

                    1            2

                        Копаем       Исправляем
                        данные       данные

     3                           4                            5
         Улучшаем                    «Придушиваем» модель -       Забываем
         модель                      Сокращаем остаточный         про модель
                                     отрицательный эффект

                                                                               8
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Копаем данные

    № запроса       Состояние         Услуга   Тип обращения          Описание

                                                               Ошибка 321. Не идет ping.
    INC2001003       Закрыт            Сеть    Маршрутизатор
                                                                 Порт вышел из строя

      Регистрация             Маршрутизация     Решение             Закрытие

                                                                                           9
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Копаем данные

    № запроса       Состояние         Услуга   Тип обращения             Описание

                                                               Ошибка 321. Не идет ping. Порт
    INC2001003       Закрыт            Сеть    Маршрутизатор         вышел из строя
                                                               Ошибка 321. Не идет ping. Порт
    INC2001003       Решен             Сеть    Маршрутизатор         вышел из строя

    INC2001003      Назначен          Касса     Не работает      Ошибка 321. Не идет ping

    INC2001003       Новый            Касса     Не работает             Ошибка 321

      Регистрация             Маршрутизация     Решение                Закрытие

                                                                                                10
КАК СОБРАТЬ ПОЛЕЗНОЕ ML-РЕШЕНИЕ, ЕСЛИ ДАННЫЕ НЕСОВЕРШЕННЫ - ICL Services - Дмитрий Каштанов, 21.02.2019 - CNews
Исправляем данные. Визуализируем логику модели

                                                 11
Питонистам
                                                Улучшаем модель
 мало платят…
                  Так ты же просто рандомно
                  подбираешь коэффициенты,
                 пока кросс-валидация не даст   ТЫ ЧЁ, ПЁС, Я МАТЕМАТИК!
                    нормальный результат!

Становись ДАТА
 САЕНТИСТОМ
     как я!

  Это зачем?

    Будешь
разрабатывать
искусственный
 интеллект за
   300к/сек
                                                                           12
«Придушиваем» модель правильно
                                                                                True VS False Positives,
                                                                 80

      НЕ ПРАВИЛЬНО               ПРАВИЛЬНО                       70

                                                                 60

                                                                 50

                                             True Positives, %
                                                                 40

                                                                 30

                                                                 20

                                                                 10

                                                                 0

                                                                      012 3 5       10               20    30
                                                                                   False Positives, %
                                                                                                           13
Забываем про модель – осваиваем потенциал другими
инструментами

                       Машинное обучение

  Бизнес-     Интеграция   Голосовые       RPA      …
  правила                  технологии

                                                        14
Полезные решения – самый ценный опыт!

       Основной потенциал - в данных

       Лучшее – враг хорошего. Будьте
       Agile
       Формулируйте и проверяйте
       гипотезы

       Анализируйте ошибки

       Используйте весь арсенал Digital

 Мы помогаем делать полезные цифровые
 решения!

                                          15
КОНТАКТНАЯ ИНФОРМАЦИЯ:
   +7 800 333 98 70
   Icl-services.com
   pr@icl-services.com
   420029, г. Казань,
    Сибирский тракт 34
Вы также можете почитать