Мониторинг и анализ пользовательской активности в межсетевом взаимодействии с оценкой уровня вовлеченности в совместные научно-исследовательские ...

Страница создана Батыр Рыбаков

Разное

Русский

Лайк
Поделиться
Встроить
На весь экран
Слайды
Скачать HTML
Скачать PDF
Жалоба

←

ПРОДОЛЖИТЬ ЧТЕНИЕ

→

Транскрипция содержимого страницы

Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже

Мониторинг и анализ пользовательской активности в межсетевом взаимодействии с оценкой уровня вовлеченности в совместные научно-исследовательские ...

Мониторинг и анализ пользовательской активности в межсетевом
 взаимодействии с оценкой уровня вовлеченности в совместные
  научно-исследовательские проекты на базе интегрированной
           технологической инфраструктуры RUNNet
          и мировых научно-образовательных сетей

                            Абрамов Алексей Геннадьевич
                           к.ф.-м.н., заместитель директора
               филиала ФГАУ ГНИИ ИТТ «Информика» в г. Санкт-Петербурге

    Семинар-совещание «Развитие и повышение эффективности
функционирования федеральной университетской сети России RUNNet»
                  г. Владимир, 16-18 мая 2018 г.

НАЦИОНАЛЬНЫЕ НАУЧНО-ОБРАЗОВАТЕЛЬНЫЕ СЕТИ КАК ИНФРАСТРУКТУРНАЯ ОСНОВА ДЛЯ
         ОБЕСПЕЧЕНИЯ ФУНКЦИОНИРОВАНИЯ УСТОЙЧИВЫХ ИССЛЕДОВАТЕЛЬСКИХ КОЛЛАБОРАЦИЙ

  Национальная научно-образовательная сеть (National Research and Education Network, NREN) –- –высокопроизводительная
  телекоммуникационная инфраструктура масштаба страны, которая эксплуатируется в интересах науки и образования, обеспечивает доступ
  целевых пользователей в глобальное ИКТ-пространство, связность с мировыми NREN и сетевыми консорциумами, а также является ядром
  развития и провайдером востребованных сетевых сервисов и сервисов коллективного пользования

        ОСНОВНЫЕ ХАРАКТЕРИСТИКИ NREN                       Телекоммуникационная           ПРИОРИТЕТНЫЕ НАУЧНЫЕ ОБЛАСТИ
 научно-образовательная целевая аудитория
                                                             инфраструктура для        физика высоких энергий, физика частиц
  (университеты, научные организации, исследовательские     доставки и обработки        (исследовательские установки класса «мегасайнс» -
  центры, научно-образовательные кампусы)                    «научных данных»           ускорители заряженных частиц, электронные
                                                                                        синхротроны, рентгеновские лазеры)
 повышенные требования к качеству сети (высокая
  пропускная способность опорной инфраструктуры, низкая        Взаимодействие с        астрофизика, спутниковые наблюдения
  латентность)                                               зарубежными NREN и         (радиотелескопы, космические телескопы,
                                                               международными           лазерно-интерферометрические установки)
 отказоустойчивые топологии (кольцевая топология,
  наличие дублирующих путей между опорными узлами)         сетевыми консорциумами      геофизика, метеорология, климатология
 развитая волоконно-оптическая инфраструктура (наличие                                биологические науки (электронные микроскопы)
  собственных или арендованных ВОЛС между городами)         Обеспечение доступа к      медицинские науки, нейрофизика, телемедицина
 оптимизация затрат пользователей на ИКТ-инфраструктуру   результатам выполнения      информационно-телекоммуникационные
  и услуги передачи данных                                 проектов в приоритетных      технологии (суперкомпьютерные и
 использование современных сетевых технологий и              научных областях          распределенные вычисления, Big Data)
  протоколов
 развитие и предоставление пользователям перспективных
  сетевых сервисов и сервисов коллективного пользования

ВЕДУЩИЕ НАЦИОНАЛЬНЫЕ НАУЧНО-ОБРАЗОВАТЕЛЬНЫЕ СЕТИ: ПРИМЕРЫ И ТОПОЛОГИИ

 Internet2 (США)             DFN (Германия)               CANARIE (Канада)

 CERNET (Китай)            SURFnet (Нидерланды)          AARNet (Австралия)

МЕЖДУНАРОДНЫЕ СЕТЕВЫЕ КОНСОРЦИУМЫ: ПРИМЕРЫ И ТОПОЛОГИИ

Asi@Connect / TEIN (Trans-Eurasia Information Network)   AfricaConnect   AMPATH (AMerica's PATH)

         APAN (Asia-Pacific Advanced Network)               NORDUnet              RedCLARA

ОБЩЕЕВРОПЕЙСКИЙ НАУЧНО-ОБРАЗОВАТЕЛЬНЫЙ СЕТЕВОЙ КОНСОРЦИУМ GÉANT:
                          ОСОБЕННОСТИ ИНФРАСТРУКТУРЫ И КЛЮЧЕВЫЕ ПРОЕКТЫ
 Консорциум GÉANT нацелен на реализацию парадигмы «открытой науки» («open science») посредством комплексной поддержки
 европейских и мировых исследовательских сообществ, стимулирования и предоставления сетевых сервисов и технологий для расширения
 возможностей сотрудничества в научных, образовательных, научно-технологических и иных областях

    КОНСОРЦИУМ GÉANT: КРАТКО О ЗНАЧИМОМ
 сетевая связность > 10 тыс. образовательных и научных
  организаций из 40 стран Европы, Турции и Израиля
 > 50 млн. конечных пользователей
 пропускная способность опорной инфраструктуры - 100 Гбит/с
 практически 100% доступность опорной инфраструктуры

 передача по опорной инфраструктуре > 2 ЭэЭкзабайт данных в
  год (рост глобального трафика >50% ежегодно)
 высокоскоростная связность с NREN и сетевыми консорциумами
  по всему миру (Internet2, ESnet, CANARIE, RedCLARA, CERNET…)
 поддержка региональных телекоммуникационных проектов
  (Asi@Connect, AfricaConnect, ASREN, APAN, EaPConnect, CAREN)
 использование современных сетевых технологий и протоколов
  (DWDM, OTN, GMPLS,…)
 поддержка и развитие перспективных сетевых сервисов и
  сервисов коллективного пользования
 масштабные инвестиции в исследования и разработку сетевых
  архитектур, технологий и парадигм

ТРАНСКОНТИНЕНТАЛЬНАЯ ТЕЛЕКОММУНИКАЦИОННАЯ СВЯЗНОСТЬ
                             ДЛЯ НУЖД СФЕРЫ НАУКИ И ОБРАЗВОАНИЯ
              ACE (America Connects to Europe)                  GNA (Global Network Architecture )

NEAAR (Networks for European, American, and African Research)

                          TransPAC

СЕТЬ RUNNet: ТЕКУЩИЙ СТАТУС И ОСНОВНЫЕ РЕШАЕМЫЕ ЗАДАЧИ В КАЧЕСТВЕ
                           НАЦИОНАЛЬНОЙ НАУЧНО-ОБРАЗОВАТЕЛЬНОЙ СЕТИ РОССИИ
Основная цель RUNNet - предоставление научным и образовательным организациям России возможностей для выполнения перспективных
научных исследований и разработок, участия в крупных международных научно-исследовательских проектах, базирующихся на использовании
устойчивой и отвечающей современным требованиям отраслевой информационно-телекоммуникационной инфраструктуры, интегрированной
в инфраструктуру мировых научно-образовательных сетей

   АКТУАЛЬНЫЕ ЗАДАЧИ СЕТИ RUNNet В КАЧЕСТВЕ NREN
 обеспечение телекоммуникационной связности для выполнения наукоемких
  задач и проектов в приоритетных научных областях
 обеспечение доступа российских ученых к исследовательской базе ведущих
  иностранных научных центров, оптимизация доступа международного научно-
  исследовательского сообщества в российский сектор науки и технологий
 обеспечение доступа организаций высшего образования и науки России к
  передовым международным результатам исследований и международной
  инфраструктуре исследований и разработок
 обеспечение функционирования и оптимизация использования опорной сети
  в целях эффективного межсетевого обмена данными для организаций
  высшего образования и науки России
 развитие сервисной платформы для обеспечения доступа к Центрам
  коллективного пользования (ЦКП), уникальным научным установкам,
  суперкомпьютерным ресурсам университетов и научных центров
 предоставление пользователям возможностей тестирования, апробации и
  внедрения современных информационных и телекоммуникационных
  технологий и сервисов (DWDM, SDN, DPI, облачные технологии)
 мониторинг востребованности и прогнозирование перспектив использования
  ресурсов и сервисов сети RUNNet и международных NREN пользователями

ПРОВЕДЕНИЕ МОНИТОРИНГА И АНАЛИЗА ПОЛЬЗОВАТЕЛЬСКОЙ АКТИВНОСТИ В МЕЖСЕТЕВОМ
     ВЗАИМОДЕЙСТВИИ: ОСНОВАНИЯ, ЦЕЛИ И ЗАДАЧИ, ОЖИДАЕМЫЕ РЕЗУЛЬТАТЫ

                                               ОСНОВАНИЯ, ЦЕЛИ И ЗАДАЧИ

                                                  Наглядное представление и                   Оценка степени использования
    Отдельный вид работ в рамках
                                              содержательный анализ данных об              технологической инфраструктуры сети
      Государственного задания
                                             уровне вовлеченности пользователей            RUNNet, участвующей в обеспечении
    ФГАУ ГНИИ ИТТ «Информика»
                                              сети RUNNet в совместные научно-                функционирования устойчивых
 по тематике RUNNet на 2017-2018 гг.
                                                  исследовательские проекты                  исследовательских коллабораций

                                                 ОЖИДАЕМЫЕ РЕЗУЛЬТАТЫ

 разработанное программно-аппаратное решение для выполнения мониторинга, анализа и интерактивной визуализации данных о
  пользовательской активности в межсетевом взаимодействии, отражение основных направлений сетевой связности
 проведенный на основе разработанного решения содержательный анализ востребованности телекоммуникационной инфраструктуры
  сети RUNNet для выполнения значимых проектов в сфере науки и образования
 полученная детальная информация по конечным организациям, их экспертная рейтинговая оценка
 переориентация ресурсов сети RUNNet на ведущих потребителей и генераторов «научного» трафика, участников крупных
  исследовательских коллабораций
 подключение к RUNNet новых организаций образования и науки, заинтересованных в использовании ее ресурсов и сервисов
 дальнейшая оптимизация затрат пользователей на сетевую инфраструктуру и оплату трафика

ВЫБОР И АДАПТАЦИЯ ПРОГРАММНО-АППАРАТНЫХ РЕШЕНИЙ ДЛЯ ПРОВЕДЕНИЯ МОНИТОРИНГА И
     АНАЛИЗА ПОЛЬЗОВАТЕЛЬСКОЙ АКТИВНОСТИ В МЕЖСЕТЕВОМ ВЗАИМОДЕЙСТВИИ (1)

                                                            ОСОБЕННОСТИ АРХИТЕКТУРЫ ПРОТОКОЛА NetFlow

                                                                               Интернет
             Исходные данные:
     собираемые и хранимые данные                               WAN 1
     о передаваемом и принимаемом                                                      NetFlow
                                                                                        сенсор
                                                                                                     NetFlow
                                                                                                    коллектор
    трафике пользователей сети RUNNet
                                                               WAN 2
                                                                                          Пакеты                Запросы
                                                                                                                            Консоль
                                                                                          NetFlow                         анализатора
                                                                       LAN 1
                                                                               LAN 2                       Хранилище
                                                                                                             NetFlow

           ОСНОВНЫЕ КОМПОНЕНТЫ ПРОГРАММНО-АППАРАТНОГО РЕШЕНИЯ ДЛЯ СБОРА И АНАЛИЗА
               ИНФОРМАЦИИ О СЕТЕВОМ ТРАФИКЕ ПОЛЬЗОВАТЕЛЕЙ ПО ПРОТОКОЛУ NetFlow

    сенсор («exporter», отвечает за сбор статистики по проходящему через него сетевому трафику - L3-коммутаторы или
     маршрутизаторы, расположенные в узловых точках RUNNet, на граничных маршрутизаторах сегментов сети)
    коллектор («collector», обеспечивает сбор и предварительную обработку получаемых от сенсора данных и помещает их в
     хранилище)
    анализатор («analyzer», производит основной цикл обработки собранных коллектором данных и формирует отчеты в
     виде доступных для анализа таблиц, графиков, диаграмм)

ВЫБОР И АДАПТАЦИЯ ПРОГРАММНО-АППАРАТНЫХ РЕШЕНИЙ ДЛЯ ПРОВЕДЕНИЯ МОНИТОРИНГА И
       АНАЛИЗА ПОЛЬЗОВАТЕЛЬСКОЙ АКТИВНОСТИ В МЕЖСЕТЕВОМ ВЗАИМОДЕЙСТВИИ (2)

                                ЖИЗНЕННЫЙ ЦИКЛ И МЕТОДИКИ ОБРАБОТКИ ДАННЫХ NetFlow

 поток NetFlow - набор взаимосвязанных пакетов, относящихся к одному (однонаправленному) транспортному соединению (например, с
  одинаковыми IP-адресами и сетевыми портами отправителя и получателя данных по протоколам UDP и TCP)
 параметры потока NetFlow: IP-адрес отправителя и получателя, сетевые порты отправителя и получателя (для протоколов UDP и TCP), тип и код
  сообщения (для протокола ICMP), версия протокола IP, входящий сетевой интерфейс, тип IP-сервиса
 предварительная фильтрация данных NetFlow выполняется на коллекторе с помощью свободно распространяемой коллекции
  высокопроизводительных утилит nfdump (производится фильтрация и последующая агрегация данных только по интересующим AS и IP-сетям)
 окончательная обработка агрегированных данных производится на выделенном сервере (LAMP: Ubuntu / Apache / PHP / PostgreSQL)
 визуализация данных производится на информационно-аналитическом портале RUNNet (применяется свободно распространяемая программная
  библиотека Cytoscape.js)

  АРХИТЕКТУРА И ПРИНЦИПЫ РАБОТЫ ПАКЕТА nfdump                                    ПРИМЕНЕНИЕ ФИЛЬТРОВ К ДАННЫМ NetFlow

ОТБОР МИРОВЫХ АВТОНОМНЫХ СИСТЕМ ДЛЯ ПРОВЕДЕНИЯ АНАЛИЗА ДАННЫХ

                                          КРИТЕРИИ И МЕТОДИКИ ОТБОРА

                                                                                    национальные, региональные и
     Просмотр и отбор для анализа        Использование баз данных и сервисов      отраслевые NRENs (> 400 AS)
 автономных систем (AS) по всему миру      «Whois» региональных интернет-
                                                    регистраторов:                  университеты (> 1600 AS)
           из более 85 тыс.,
                                                                                    научные организации (> 400 AS)
    учтено в анализе более 2.5 тыс.      RIPE NCC, ARIN, APNIC, LACNIC, AFRINIC
                                                                                    мировые исследовательские центры

                                                    БАЗЫ ДАННЫХ

                                                                AS научных и образовательных организаций России и
 научные и образовательные организации России и мира (> 2000)   мира (> 2500)
 российские научные и образовательные организации -            AS пользователей сети RUNNet (> 80)
  пользователи сети RUNNet (120)
                                                                IP-сети пользователей сети RUNNet (> 50)
 национальные научно-образовательные сети (> 100)
                                                                географические справочники (континенты, страны,
                                                                 города) с географической привязкой (широта / долгота)

                                              https://www.runnet.ru/science

ИНТЕРАКТИВНАЯ КАРТА УСТОЙЧИВЫХ ИССЛЕДОВАТЕЛЬСКИХ КОЛЛАБОРАЦИЙ
В ПРИОРИТЕТНЫХ НАУЧНЫХ ОБЛАСТЯХ С УЧАСТИЕМ РОССИЙСКИХ ОРГАНИЗАЦИЙ

ИНТЕРАКТИВНАЯ КАРТА УСТОЙЧИВЫХ ИССЛЕДОВАТЕЛЬСКИХ КОЛЛАБОРАЦИЙ
        (С ГЕОПРИВЯЗКОЙ НА ОСНОВЕ API СЕРВИСА ЯНДЕКС-КАРТ)

ВИЗУАЛИЗАЦИЯ ОБМЕНА ДАННЫМИ И ОСНОВНЫХ НАПРАВЛЕНИЙ СЕТЕВОЙ СВЯЗНОСТИ
                  ПОЛЬЗОВАТЕЛЕЙ RUNNET (ОБЩИЙ ВИД)

                        https://www.runnet.ru/science-traffic/

ВИЗУАЛИЗАЦИЯ ОБМЕНА ДАННЫМИ И ОСНОВНЫХ НАПРАВЛЕНИЙ СЕТЕВОЙ СВЯЗНОСТИ
               ПОЛЬЗОВАТЕЛЕЙ RUNNET (НА ПРИМЕРЕ ОИЯИ)

ВИЗУАЛИЗАЦИЯ ОБМЕНА ДАННЫМИ И ОСНОВНЫХ НАПРАВЛЕНИЙ СЕТЕВОЙ СВЯЗНОСТИ
               ПОЛЬЗОВАТЕЛЕЙ RUNNET (НА ПРИМЕРЕ МИФИ)

ВИЗУАЛИЗАЦИЯ ОБМЕНА ДАННЫМИ И ОСНОВНЫХ НАПРАВЛЕНИЙ СЕТЕВОЙ СВЯЗНОСТИ
  ПОЛЬЗОВАТЕЛЕЙ RUNNET (НА ПРИМЕРЕ NREN СКАНДИНАВСКИХ СТРАН NORDUnet)

ВИЗУАЛИЗАЦИЯ ОБМЕНА ДАННЫМИ И ОСНОВНЫХ НАПРАВЛЕНИЙ СЕТЕВОЙ СВЯЗНОСТИ
          ПОЛЬЗОВАТЕЛЕЙ RUNNET (НА ПРИМЕРЕ NREN США Internet2)

RUNNet
         ПЛАНЫ ПО РАЗВИТИЮ И СОВЕРШЕНСТВОВАНИЮ ИНСТРУМЕНТОВ И МЕТОДИК АНАЛИЗА
               ПОЛЬЗОВАТЕЛЬСКОЙ АКТИВНОСТИ В МЕЖСЕТЕВОМ ВЗАИМОДЕЙСТВИИ

 апробация применения при обработке данных NetFlow эффективных технологий
  NoSQL (не реляционных баз данных)
 учет направлений обмена данными (входящий / исходящий трафик)
 обеспечение возможности отображения информации об обмене данными за разные
  временные периоды (помесячно / поквартально и др.)
 возможность отбора организаций по ведомственной принадлежности, по типу
  (научные / образовательные и др.) и научным областям
 возможность отбора организаций по континентальному признаку, а также для РФ – - по
  отдельным федеральным округам и регионам
 возможность отдельного показа организаций из РФ, –являющихся пользователями сети
  RUNNet, и иных организаций
 расширение набора картин, используемых при визуализации данных:
   - обмен данными между организациями из РФ и выбранной другой страны
   - обмен данными между отдельной организацией из РФ и организациями из других
стран
   - обмен данными между отдельной организацией из РФ и организациями из
выбранной другой страны
 использование дополнительных методик визуализации данных
 применение развиваемых инструментов визуализации для отображения
  статистических сведений применительно к сервисам сети RUNNet
 формирование аналитических отчетов в соответствии с заданными критериями

Контактные данные:
                            Абрамов Алексей Геннадьевич
                           к.ф.-м.н., заместитель директора
               филиала ФГАУ ГНИИ ИТТ «Информика» в г. Санкт-Петербурге
                                  +7 (812) 670-20-10 доб. 2205
                                       abramov@runnet.ru

    Семинар-совещание «Развитие и повышение эффективности
функционирования федеральной университетской сети России RUNNet»
                  г. Владимир, 16-18 мая 2018 г.

Вопросы развития и обеспечения функционирования
        в сети RUNNet перспективных сетевых сервисов и
              сервисов коллективного пользования
                            Абрамов Алексей Геннадьевич
                           к.ф.-м.н., заместитель директора
               филиала ФГАУ ГНИИ ИТТ «Информика» в г. Санкт-Петербурге

    Семинар-совещание «Развитие и повышение эффективности
функционирования федеральной университетской сети России RUNNet»
                  г. Владимир, 16-18 мая 2018 г.

ОБЩЕЕВРОПЕЙСКИЙ НАУЧНО-ОБРАЗОВАТЕЛЬНЫЙ СЕТЕВОЙ КОНСОРЦИУМ GÉANT:
                 РАЗВИВАЕМЫЕ СЕТЕВЫЕ СЕРВИСЫ И СЕРВИСЫ КОЛЛЕКТИВНОГО ПОЛЬЗОВАНИЯ

Сервисы доверия, идентификации и безопасности (Trust, Identity & Security)             Сервисы коммуникаций в режиме реального времени
 eduGAIN (EDUcation Global Authentication INfrastructure,                                        (Real-time communications)
  http://edugain.org) - глобальная инфраструктура федеративной                eduCONF (EDUcation CONFerencing, https://educonf.geant.org), сервис
  авторизации                                                                  проверки видеоконференций NREN
 eduroam (EDUcation ROAMing, https://eduroam.org) - сервис                   eduOER (EDUcation Open Educational Resource, https://oer.geant.org),
  международного роуминга в Wi-Fi сетях                                        сервис поддержки доступа к мультимедийному контенту разных
 eduPKI (EDUcation Public Key Infrastructure, https://www.edupki.org) -       репозиториев
  инфраструктура открытых ключей шифрования                                   NRENum.net (https://nrenum.net), сервис сопровождения телефонных
 TACAR (Trusted Academic CA Repository, https://www.tacar.org) - сервис       номеров международного телекоммуникационного плана E.164
  хранения и распространения цифровых сертификатов CA
                    Облачные сервисы (Cloud services)                               Сервисы обеспечения сетевой связности и управления сетью
 IaaS (Infrastructure as a Service, аренда виртуальных машин)                                 (Connectivity & network management)
 Cloud Storage (высокоэффективное облачное хранилище)                        eduPERT (EDUcation Performance Enhancement Response Team,
 ownCloud (https://owncloud.org) - сервис для синхронизации данных,           https://edupert.geant.net) - исследовательская и консультационная
  обмена файлами и удаленного хранения с развитым дополнительным               служба по вопросам производительности сети
  функционалом                                                                perfSONAR (Performance focused Service Oriented Network monitoring
 FileSender (http://www.filesender.org) - сервис трансфера и обмена           ARchitecture, https://www.perfsonar.net) - сервис мониторинга
  файлами большого размера                                                     производительности сети в режиме реального времени

RUNNet
                   СЕТЕВЫЕ СЕРВИСЫ И СЕРВИСЫ КОЛЛЕКТИВНОГО ПОЛЬЗОВАНИЯ В СЕТИ RUNNet

                Сервисы передачи данных на базе сети RUNNet                                             Инфраструктурные сервисы
 кампусные и филиальные сети (объъъединение территориально                         мониторинг сетевого оборудования и сервисов (контроль состояния
  распределенных подразделений организаций в единую сеть, VLAN)                      сетевых устройств, каналов связи и сетевых сервисов)
 P2P (организация выделенных каналов «точка-точка»)                                тестирование характеристик сетевой инфраструктуры
 Интернет (доступ к глобальной информационной сети)                                 (http://speedtest.runnet.ru, iperf)
                                                                                    защита от DDoS атак
                                                                                    ограничение доступа к веб-ресурсам (в соответствии с ФЗ)
                              Облачные сервисы                                               Сервисы доверия, идентификации и безопасности
 облачный полигон на базе платформы Openstack                                      eduGAIN (EDUcation Global Authentication Infrastructure) - RUNNetAAI
 IaaS (Infrastructure as a Service, совместные проекты с владельцами крупных       eduroam (EDUcation ROAMing)
  ЦОД-ов)                                                                           RUNNet CA– (собственный центр цифровых сертификатов)
 PaaS / SaaS (Platform as a Service, Software as a Service, доступ к платформам
  разработки, прикладному ПО - –математические пакеты, системы управления
  обучением, системы ДО и др.)
 ownCloud (https://cloud.runnet.ru, сервис для синхронизации данных,                      Сервисы коммуникаций в режиме реального времени
  обмена файлами и удаленного хранения, с возможностями совместной
  работы с документами на базе OnlyOffice)                                          вебинары (BigBlueButton)
 FileSender (https://filesender.runnet.ru, сервис трансфера и обмена файлами       IP-телефония (стационарные телефоны, мобильные клиенты)
  большого размера                                                                  Instant messaging (служба мгновенного обмена сообщениями)
 SNaaS (Science Notebook as a Service)

Вы также можете почитать