РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДИКИ ПРОЕКТИРОВАНИЯ БАЗЫ МЕТАДАННЫХ ХРАНИЛИЩА ГЕОДАННЫХ
←
→
Транскрипция содержимого страницы
Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже
На правах рукописи
ЗАЙЦЕВ ВЛАДИСЛАВ ВЯЧЕСЛАВОВИЧ
РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДИКИ
ПРОЕКТИРОВАНИЯ БАЗЫ МЕТАДАННЫХ
ХРАНИЛИЩА ГЕОДАННЫХ
Специальность 25.00.35 –«Геоинформатика»
Автореферат
диссертации на соискание ученой степени
кандидата технических наук
Москва, 2014Работа выполнена на кафедре информационно-измерительных систем
Федерального государственного бюджетного образовательного учреждения
высшего профессионального образования Московского государственного
университета геодезии и картографии (МИИГАиК).
Научный руководитель: доктор технических наук, профессор
Майоров Андрей Александрович.
Официальные оппоненты:
Ребрий Александр Валерьевич – кандидат технических наук,
Флегонтов А.В. – доктор технических наук.
Ведущая организация: Сибирская государственная геодезическая
академия.
Защита состоится « » июня 2014 года, в 10.00 часов на заседании
диссертационного совета 212.143.03 при Московском государственном
университете геодезии и картографии по адресу: 105064, Москва, Гороховский
пер., д. 4, ауд. 101 корп. 4.
С диссертацией можно ознакомиться в библиотеке Московского
государственного университета геодезии и картографии.
Автореферат разослан « » апреля 2014 года
Ученый секретарь
диссертационного совета Вшивкова Ольга Владимировна
1Общая характеристика работы
Актуальность и степень разработанности темы исследования
Развитие геоинформационных технологий способствует накоплению
организациями больших объемов пространственных данных, представленных в
различных форматах. Накопленные за многие годы и собираемые поныне
данные, могут быть использованы для получения новых знаний.
В последнее время в ходе создания и применения инфраструктуры
пространственных данных (далее – ИПД) возрос практический интерес к
хранилищам данных и оперативной аналитической обработке данных.
Хранилище данных – это предметно-ориентированный, интегрированный,
неизменчивый, поддерживающий хронологию набор данных, организованный
для целей поддержки принятия решений 1. В геоинформационных системах
(далее – ГИС) данная технология пока не используется, поскольку ГИС
использует реляционные базы данных, а хранилища данных в основном
используют многомерное представление данных 2.
Традиционные хранилища данных и инструменты оперативной
аналитической обработки поддерживают пространственные данные, но
рассматривают их как любые другие данные, не обращая внимания на
географический компонент. В этой связи, появилась необходимость в
объединении функциональности инструментов оперативной аналитической
обработки, хранилищ данных и ГИС.
Таким способом можно создать новые инструменты поддержки принятия
решений, лучше приспособленные к пространственно-временному
исследованию и анализу данных.
1
Барсигян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных: Data Mining,
Visual Mining, Text Mining, OLAP / 2-е издание, переработанное и дополненное / СПб.: БХВ-Петербург, 2007. –
384 с.
2
Иванников А.Д., Кулагин В.П., Тихонов А.Н., Цветков В.Я.. Прикладная геоинформатика / М.: МАКС Пресс,
2005. – 360 с.
2Необходимость обеспечения интеграции и совместного использования
пространственных данных, полученных из различных источников 1, при
формировании ИПД, заставила обратить внимание на метаданные.
Метаданные – данные, которые позволяют описывать содержание, объем,
положение в пространстве, качество и другие характеристики
пространственных данных и пространственных объектов 2.
В свою очередь метаданные в среде хранилища данных применяются не
только для каталогизации, учете, статистической обработке и анализе данных 3,
а так же описания вычислительной среды, информационной безопасности,
возможности планирования и восстановления данных. Поэтому под
метаданными в среде хранилища данных следует понимать совокупность
спецификаций, отражающих информационную модель, описание структуры
данных хранилища и источников данных, а также описание процессов
обработки данных, циркулирующих в среде.
Существующие методики проектирования баз пространственных
метаданных основываются на стандартах ГОСТ Р 52573-2006 «Географическая
информация. Метаданные» и ГОСТ Р 51353-1999 «Геоинформационное
картографирование. Метаданные электронных карт» и позволяют создать базу
метаданных, описывающую только характеристики пространственных данных
и пространственных объектов.
В свою очередь методика создания баз метаданных хранилищ данных,
основанная на стандарте «Общая метамодель хранилища» не позволяет учесть
особенностей описания характеристик пространственных данных и
пространственных объектов.
В этой связи актуальность диссертационного исследования обусловлена:
− необходимостью интеграции несопоставимых и
нескоординированных между собой пространственных данных в ходе
создания ИПД;
1
Распоряжение Правительства РФ от 21 августа 2006 г. N 1157-р.
2
Там же.
3
ГОСТ Р 52573-2006 «Географическая информация. Метаданные»
3− способностью метаданных – компонента ИПД, описывать только
характеристики пространственных данных и пространственных объектов, в то
время как в среде хранилища данных они дополнительно описывают процессы
их обработки;
− ограниченными возможностями существующих методик
проектирования БМД ХГД.
Цель диссертационной работы
Целью диссертационной работы является разработка и исследование
методики проектирования базы метаданных хранилища геоданных (далее –
БМД ХГД) в составе информационных ресурсов, содержащих
пространственные данные и образующих основу для создания и
применения ИПД.
Проектирование базы данных (метаданных) подразумевает прохождение
трех этапов: концептуального, логического и физического проектирования,
результатом каждого из которых будет создание концептуальной, логической и
физической модели соответственно.
Под проектированием в диссертационной работе имеется в виду
концептуальное проектирование, так как оно позволяет создать
концептуальную (семантическую) модель предметной области без
конкретизации модели данных и СУБД. К тому же существующие средства
автоматизированного проектирования и создания программ позволяют из
концептуальной модели генерировать одну или несколько логических и (или)
физических моделей, в зависимости от требуемого уровня представления и
подходов к моделированию данных 1.
Поэтому в ходе разработки методики планируется:
− сформировать базовый набор метаданных;
− построить на его основе концептуальную модель базы метаданных;
1
Нартова А. PowerDesigner 15 Моделирование данных / Изд. «Лори». 2012. – 468 с.
4− описать последовательность действий по созданию базы метаданных.
Исследовать разработанную методику проектирования планируется с
помощью проведения ее сравнительного анализа с существующими
методиками.
Задачи диссертационной работы
Для достижения поставленной цели в работе были сформулированы и
решены следующие задачи:
1. Проведение сравнительного анализа исследований в области
хранилищ геоданных и баз метаданных.
2. Формирование базового набора метаданных необходимого для
создания БМД ХГД.
3. Разработка общей концептуальной модели БМД ХГД в виде
диаграммы классов UML.
4. Описание алгоритма применения базового набора метаданных на
этапах развертывания хранилища геоданных.
5. Проведение сравнительного анализа разработанной методики с
существующими методиками проектирования.
Решение перечисленных задач позволит разработать методику
проектирования базы метаданных хранилища геоданных.
Научная новизна диссертационной работы
Основные результаты диссертационной работы, представляющие научную
новизну, заключаются в следующем:
1. Разработана методика проектирования БМД ХГД.
2. Сформирован базовый набор метаданных ХГД.
Разработанная методика, основана на впервые сформированном наборе
метаданных для проектирования БМД ХГД.
5Все наборы метаданных, ранее создаваемые в качестве компонента ИПД,
позволяют организовать эффективный доступ к пространственным данным, но
не описывают процессы, происходящие с пространственными данными.
Сформированный автором набор метаданных дополнительно к
организации доступа к пространственным данным позволяют описывать
процессы использования данных.
Практическая значимость результатов исследования заключается в
возможности применения разработанной методики проектирования, набора
метаданных и общей концептуальной модели в ходе создания БМД ХГД в
составе информационных ресурсов, содержащих пространственные данные и
образующих основу для создания и применения ИПД.
Дополнительно материалы и результаты диссертационного исследования
используются в учебном процессе факультетов ОИСиТ и ПКиФ МИИГАиК по
дисциплинам: «Информационные технологии» и «Архитектура
информационных систем».
Теоретическая значимость результатов исследования состоит в
создании теоретических основ методологии проектирования базы метаданных
хранилища геоданных, а также научном обосновании методики применения
базового набора метаданных на этапах развертывания хранилища геоданных.
Методология и методы исследования. Используемые методы
исследования включают в себя сравнительный анализ и моделирование. В ходе
исследования был проведен анализ нормативно-технических документов в
геоинформатики. Для разработки концептуальной модели предметной области
применялся метод объектно-ориентированного моделирования с
использованием нотации UML.
Апробация диссертационной работы
По теме диссертации был сделан доклад на ежегодной конференции
молодых ученных и аспирантов МИИГАиК в 2013 году.
6Автор исследования принимал участие в рабочих заседаниях технических
комиссий ОАО «Роскартографии» по вопросам связанным с темой
исследования.
Результаты диссертационного исследования были использованы в ходе
создания компонента информационной системы ОАО «Уралгеоинформ», а
также в ходе создания базы метаданных информационной системы,
применяемой для учета единиц хранения результатов работ по созданию
геопространственных данных различной точности и детализации
ОАО «Сибгеоинформ».
Основные результаты работы, выносимые на защиту
− сформирован базовый набор метаданных, позволяющий создать БМД,
описывающую как характеристики пространственных данных и
пространственных объектов, так и происходящие в среде хранилища данных
процессы;
− на основе, базового набора метаданных, разработана общая
концептуальная модель БМД, позволяющая, путем преобразования в
логическую и далее в физическую модель, создавать БМД на основе выбранной
модели данных и СУБД;
− разработана и исследована методика применения, сформированного
автором, базового набора метаданных, позволяющая создавать БМД
одновременно с развертыванием ХГД.
Объем и структура работы
Диссертация состоит из введения, трех глав, заключения, списка
сокращений и условных обозначений, списка литературы и списка
иллюстративного материала. Работа изложена на 127 страницах, включая
14 рисунков и 12 таблиц. Список используемой литературы включает
161 наименование.
7Содержание работы
Во введении отмечается, актуальность научного исследования,
определяется предмет и цель исследования, а также перечень задач,
сформированных и решенных в процессе выполнения диссертационной работы.
ГЛАВА 1. Обзор исследований проводимых в области хранилищ
геоданных и стандартизации метаданных в геоинформатике
Глава разделена на две части, в первой проведен сравнительный анализ
исследований хранилищ пространственных данных (хранилищ геоданных) и
пространственной оперативной аналитической обработки, а во второй –
исследований в отношении метаданных.
Хранилище геоданных по существу являющееся объединением
традиционного хранилища данных и пространственной базы данных, должно
соответствовать требования предъявляемым к ним, а также учитывать
особенности пространственных данных. Системы оперативной аналитической
обработки также требуют адаптации для работы с пространственными
данными.
Хранилище геоданных – это предметно-ориентированный,
интегрированный, неизменяющийся во времени и поддерживающий
хронологию набор данных, предназначенный для хранения и анализа
тематических, пространственных и временных характеристик геоданных,
организованный с целью поддержки принятия решений 1.
Существует несколько архитектур хранилищ данных – это реляционная,
многомерная, гибридная и виртуальная архитектуры. Все они основаны на
технологии оперативной аналитической обработки.
Оперативная аналитическая обработка представляет собой методику
оперативного извлечения нужной информации из больших массивов данных и
формирования соответствующих отчетов 2.
1
Зубков С.А. Концепция и технология проектирования хранилища геоданных для систем поддержки принятия
решений в области транспорта // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2012. – № 3 – С. 89-93
2
Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.:
Питер, 2013. – С. 77.
8В ходе обзора исследований проводимых в области хранилищ геоданных
и пространственной оперативной аналитической обработки были определены
следующие основные направления:
− создание концептуальной пространственной многомерной модели
хранилища геоданных;
− способы хранения данных и создания предварительных запросов;
− способы и операторы агрегирования;
− пространственная оперативная аналитическая обработка;
− особенности пространственно-временных хранилищ данных.
Задача представления геоданных в многомерном виде, в сущности,
сводится к разработке концептуальной пространственной многомерной модели.
Многомерное представление данных основывается на разделении данных на –
измерения (dimension) и факты (measure).
В настоящее время во многих программных продуктах для создания
кубов данных предусмотрены измерения «География» и «Время», которые
можно применять для пространственной и временной привязок части
рассматриваемых объектов. Но в случае, когда все исследуемые объекты имеют
пространственную и временную привязки, использование только двух этих
измерений становиться недостаточным.
Исследования способов хранения геоданных и создание предварительных
запросов к ним сводятся к выбору и сравнению методов индексации и
выборочной материализации геоданных.
Разработка и исследование новых способов и операторов агрегирования
данных позволили ускорить доступ пользователей к предварительно
агрегированным пространственным данным.
Пространственная оперативная аналитическая обработка объединяет в
себе функциональности традиционной оперативной аналитической обработки и
ГИС. Таким способом можно создать новые инструменты поддержки принятия
9решений, лучше приспособленные к пространственно-временному
исследованию геоданных.
Сравнительный анализ этих сведений показал, что, несмотря на
многочисленные исследования в данных областях, остаются направления для
будущих исследований, например обработка трехмерных пространственных
объектов или данных о траектории объекта в хранилище геоданных.
Во второй части главы рассмотрены исследования, предпринимающиеся в
отношении метаданных. Это стандартизация представления (согласование и
описание метаданных, различных по структуре и синтаксису) и обеспечение
поддержки метаданных в информационных системах.
Для метаданных широкой сферы применения существует ряд стандартов,
не связанных с пространственными данными. Знакомство с этими стандартами
может оказаться полезным для связи с ресурсами, не относящимися к
геоинформатике или для интеграции их в инфраструктуру пространственных
данных. Так же это может пригодиться для создания баз метаданных
пространственных баз данных и хранилищ геоданных.
Рассмотрена спецификация «Общая метамодель хранилища» CWM,
платформа XML и стандарт дублинского ядра. Все перечисленные стандарты
метаданных общего назначения, лишь частично подходят для
документирования геоданных. На основе большого набора метаданных можно
создать его упрощенное представление, а вот обратное действие невозможно.
В этой связи при создании базы метаданных целесообразно применять
всесторонний общий стандарт метаданных пространственной информации.
Рассмотрены три основных международных стандарта пространственных
метаданных, имеющих широкий спектр применения: стандарт содержания
метаданных цифровой геопространственной информации (CSDGM), а также
ENV 12657 (Euro-Norme Voluntaire): «Географическая информация: Описание
данных – Метаданные» и ISO 19115 «Географическая информация –
Метаданные».
10По результатам анализа стало понятно, что все описанные инициативы в
вопросах стандартизации предлагают свои методы проектирования метаданных
и различные наборы их элементов. Разрабатываемые стандарты предоставляют
информацию достаточную для организации запросов, дают возможность
определить, насколько данные отвечают требованиям запроса, а также хранят
ли ссылки на более детальные данные. В этой связи может возникнуть
необходимость разработки метаданных на дополнительных уровнях
детализации.
Задача обеспечения поддержки метаданных в информационных системах
решается созданием стандартного модуля встроенного в состав
информационной системы. Основой этого модуля является репозиторий или
база метаданных. Учитывая сохраняющуюся тенденцию создания метаданных в
ходе разработки программного продукта или услуги, целесообразно
рассматривать методологию проектирования базы метаданных на этапах
создания хранилища геоданных.
Исследования в области создания методики проектирования баз
(каталогов) метаданных проводились в МИИГАиК.
Например, исследование Краснобородько А.В. «Исследование и
разработка структур баз геоданных информационно-телекоммуникационных
систем» посвящено созданию иерархического каталога метаданных,
представляющего основную конструкцию для манипуляции с геоданными в
информационно-телекоммуникационной системе. Иерархичность метаданных
может выстраиваться по масштабу или охвату территорий 1.
В ходе создания каталога метаданных автор использует как основу
международный стандарт (профиль) ISO 19115 «Географическая информация.
Метаданные». Создаваемый автором перечень метаданных позволяет четко
определить объект геоданных и произвести к нему непосредственное
1
Краснобородько А.В. «Исследование и разработка структур баз геоданных информационно-
телекоммуникационных систем»
11обращение, 1 но не позволяет описывать происходящие с геоданными
преобразования.
Для реализации цели поставленной в работе Зраенко Ю.Д. «Разработка
технологии организации пространственных данных в региональном узле
Российской инфраструктуры пространственных данных» одной из
поставленных задач является разработка состава объектных метаданных и
уровней их организации.
Если в основу структуры метаданных единиц хранения подсистемы
«Архивная база данных» положен ГОСТ Р 52573-2006 «Географическая
информация. Метаданные» как национальный профиль международного
стандарта ISO 19115:2003 «Geographic information — Metadata»2, то в
подсистеме «Хранилище» объектные метаданные генерируются на основе
метафайлов получаемых из «Архивной базы данных».
Далее к подсистеме «Геопортал» подключаются две базы метаданных:
метаданные пространственных объектов и метаданные готовой продукции.
Учитывая, что подготовка выходной продукции выполняется в среде
ГИС, отсутствует необходимость в метаданных описывающих процессы,
происходящие с пространственными данными в подсистеме «Хранилище».
В работе Ребрия А.В. «Исследование и разработка методологии создания
базы пространственных данных» была разработана логическая структура базы
метаданных отвечающая требованиям стандарта ГОСТ Р 52573-2006
«Географическая информация. Метаданные», совместимая со стандартом
ISO 19115 «Географическая информация. Метаданные» и позволяющая
перейти к физическому проектированию базы метаданных на любой
программной платформе 3.
В данной работе автор наиболее полно разработал методику и алгоритмы
формирования и ведения базы метаданных геоинформационных продуктов, в
1
Краснобородько А.В. «Исследование и разработка структур баз геоданных информационно-
телекоммуникационных систем»
2
Зраенко Ю.Д. «Разработка технологии организации пространственных данных в региональном узле
Российской инфраструктуры пространственных данных».
3
Ребрий А.В. «Исследование и разработка методологии создания базы пространственных данных».
12которых не применяются метаданные описывающие процессы, трансформации
пространственных данных.
ГЛАВА 2. Состав базы метаданных хранилища геоданных
В этой главе для формирования базового набора элементов метаданных
были определены функции выполняемые метаданными в среде хранилища
данных. Дополнительно в этих целях использовалась концепция Захмана.
Конкретные функции и состав метаданных зависят от основополагающих
технологий, информационной системы, от ее функциональности, архитектуры,
свойств её информационных ресурсов, способов их организации в системе
(структуры), особенностей задач их обработки и от многих других факторов.
Поэтому была рассмотрена шестиуровневая архитектурная концепция
информационного хранилища данных 1 (рисунок 2.1), которая может быть
положена в основу архитектурной модели предприятия при разработке
аналитической системы на базе хранилища данных.
Первый уровень содержит источники данных (ИД) для хранилища данных,
точнее говоря любые источники структурированных или
слабоструктурированных данных, т. к. основные методы анализа данных
работают только со структурированными данными.
На втором уровне находится система извлечения, преобразования и
загрузки данных (ИПЗ). Основные задачи системы ИПЗ – извлечение данные из
разнородных источников, приведение их к единому согласованному виду и
загрузка в хранилище данных.
Следующий уровень выполняет постоянное и временное хранение данных,
а также содержит справочную информацию и метаданные. На этом уровне
размещаются единое хранилище данных, содержащее детальные,
агрегированные и архивированные данные, а также зона временного хранения
(ЗВХ), системы ведения метаданных или база метаданных (БМД) и
нормативно-справочной информации (НСИ).
1
Майоров А.А., Соловьев И.В., Шкуров Ф.В., Дубов С.С. О многоуровневой архитектурной концепции
информационного хранилища пространственных или картографо-геодезических данных // Известия ВУЗов.
Геодезия и аэрофотосъемка – 2012. – № 6. С.76-79.
13На следующем уровне расположена система выборки, реструктуризации
и доставки данных (ВРД) выполняющая выборку и доставку очищенных
данных из общего хранилища данных, предварительно приводя структуру этих
данных в соответствие с требованиями различных аналитических приложений.
Эта система является единственным пользователем хранилища данных.
ИД 1 ХД 1 ПД 1 ПЗ 1
ИД 2 ИПЗ ХД 2 ВРД ПД 2 ПЗ 2
ИД N ХД M ПД K ПЗ L
Рисунок 2.1. Шестиуровневая архитектурная концепция информационного
хранилища данных
Уровень предоставления данных (ПД) отделяет функцию хранения от
функции предоставления данных для выполнения различных задач. На этом
уровне находятся витрины данных (ВД) – наборы данных, наиболее
отвечающие потребностях обслуживаемых задач. Эти наборы могут быть
сгруппированы по территориальным, тематическим, прикладным,
функциональным или другим признакам.
Уровень прикладных задач (ПЗ) представлен программными
инструментами сценарного расчета, статистического анализа, многомерного
анализа, а так же средствами планирования и подготовки отчетов.
На этом уровне так же расположены средства анализа данных, которые
можно разделить на две основные категории:
− средства оперативной аналитической обработки (OLAP);
− средства исследования данных (Data Mining и Knowledge Discovery in
Databases).
14Дополнительно в состав уровня могут быть включены средства
формирования запросов и отчетов Q&R (Query and Reporting) и система
подготовки публикаций.
Между компонентами описанной архитектурной концепции происходит
постоянный обмен данными. В среде ПХД существует две общие категории
движения данных (информационные потоки):
− входной поток – загрузка данных в хранилище данных (ИПЗ);
− выходной поток – доступ к данным для анализа и представления из
хранилища данных (ВРД).
Одновременно в самом хранилище данных происходит три категории
движения данных (информационные потоки):
− поток обобщения данных – образуется путем агрегирования детальных
данных и их хранения в хранилище данных;
− архивный поток – происходит вследствие переноса детальных данных в
архив, в случае сокращения количества обращений к ним;
− поток метаданных – образуется переносом информации о данных из
источников в базу метаданных.
Одновременно следует учесть происходящие взаимодействия между
нормативно-справочной информацией, базой метаданных и самими данными
(детальными, агрегированными и архивными).
Все приведенные информационные потоки необходимо учитывать при
создании модели движения информации.
Учитывая, что метаданные являются структурированными данными, а так
же в целях их систематизации в базе метаданных были использованы
следующие понятия: структура, элементы, сущности и пакеты метаданных.
Сущность метаданных – набор элементов метаданных, описывающих
одинаковый аспект данных. Из одной или более сущностей, связанных
отношениями обобщения или агрегирования состоит пакет метаданных 1.
1
ГОСТ Р 52573-2006 «Географическая информация. Метаданные».
15Результатом главы является приведенный в таблице 2.1, перечень пакетов
метаданных достаточный для формирования концептуальной схемы базы
метаданных ХГД.
Пакеты Сущности
Информация о предметной области Сущности, описывающие предметную
область информационной системы
Сущности, описывающие архитектуру
информационной системы
Информация об источниках данных Сущности, описывающие структуру и
семантику источников данных
Информация о хранилище данных Сущности, описывающие семантику и
структуру хранилища данных
Сущности, описывающие алгоритмы
работы хранилища данных
Информация о системе извлечения, Сущности, описывающие критерии
преобразования и загрузки выборки, преобразования и загрузки
данных (схемы переноса данных)
Информация о системе выгрузки, Сущности, описывающие алгоритмы
реструктуризации и доставки выгрузки, реструктуризации и доставки
данных
Информация о системе Сущности, описывающие семантику и
предоставления данных структуру витрин данных
Информация о прикладных задачах Сущности, описывающие способы и
инструменты анализа в зависимости от
решаемых задач
Информация о визуализации данных Сущности, описывающие способы
визуализации данных
Информация о профилях Сущности, описывающие субъектов
пользователей работающих с данными (метаданными)
Сущности, описывающие настройки
безопасности данных
Таблица 2.1. Перечень пакетов метаданных
ГЛАВА 3. Разработка и исследование методики проектирования
базы метаданных хранилища геоданных.
Основной целью третьей главы является разработка методики
проектирования БМД ХГД. Дополнительно в главе проведен сравнительный
анализ созданной методики (алгоритма) проектирования БМД с
существующими методиками.
16Выбор конкретной методологии проектирования ХГД завит от размеров
проекта, его особенностей и сложности. В независимости от выбранной
методологии, создание ИС – это процесс создания и дальнейшего
последовательного преобразования ряда моделей на всех этапах
проектирования: разработка требований, разработка архитектуры, реализация,
тестирование и ввод в действие.
В таблице 3.1 приведены этапы классической методологии
проектирования баз данных.
Наименование этапа Действия, проводимые на этапе
Разработка требований Сбор сведений о предметной области
Классификация, формализация и интеграция
структурных элементов предметной области
Создание концептуальной модели
Разработка архитектуры Выбор конкретной модели данных (создание
интегрированной модели данных) и СУБД
Проектирование логической модели базы
данных для выбранной СУБД
Разработка физической модели базы данных
Реализация Заполнение базы данных
Сопровождение базы данных
Разработка программ доступа к базе данных
Создание и описание программ обработки
данных
Тестирование и ввод в Описание полноты и эффективности
действие организации базы данных
Тестирование, развитие и настройка структуры
базы данных
Таблица 3.1. Этапы классической методологии проектирования
Этапы развития (жизненный цикл) любой ИС описываются моделью
жизненного цикла – структурой, содержащей процессы, действия и задачи,
осуществляемые в течение разработки, функционирования и сопровождения
ИС. В результате анализа существующих моделей жизненного цикла ИС
предлагается для создания ХГД использовать итеративную модель, в которой
должно быть предусмотрено создание и ведение на каждой итерации единой
БМД.
17Так как БМД является неотъемлемой частью ХГД, целесообразно
применять единый метод проектирования всей информационной системы.
Выбор модельно-ориентированного подхода к проектированию БМД
обусловлен предложением CEN/TC 287, применять его для создания ИПД.
Одновременно этот подход обеспечивается серией стандартов (EN) ISO 19100
применяемых в геоинформатике.
Суть подхода заключается в создании моделей, которые становятся
основой разработки, из которых в последствие генерируется код. В текущей
главе приведен пример создания ряда моделей (в том числе модели БМД) в
ходе развертывания ХГД в течение жизненного цикла, из которого видно,
какую роль играют метаданные в процессе проектирования ХГД.
Учитывая, что все участники этого процесса должны иметь общий доступ
к БМД для оперативного внесения изменений и получения необходимых
сведений о них, целесообразно применение средств автоматизированного
проектирования и создания программ. Согласованность при взаимодействии
разных компонентов среды ХГД, достигается путем применения общей модели
базы метаданных, т.е. метаданные разных компонентов среды ХГД
(источников данных, систем ИПЗ и ВРД и т. п.) являются элементами единой
метамодели (или средства моделирования) хранилища геоданных.
На рисунке 3.1 приведен алгоритм проектирования БМД одновременно с
созданием ХГД.
18Создание
Сбор сведений о
нормативно-
предметной
справочной
области ХГД
информации
Описание Сбор сведений о
предметной предметной области
области ХГД БМД
Анализ собранных Анализ собранных
сведений о сведений о
предметной области предметной области
Создание Метаданные
концептуальной предметной
модели ХГД области
Создание
Метаданные
концептуальной
ХГД
модели БМД
Организация
интегрированной
модели данных
Выбор конкретной Выбор конкретной
модели данных и СУБД модели данных и СУБД
для ХГД для БМД
Создание Дополнение Создание Документирование
логической концептуальной модели логической информационных
модели ХГД БМД модели БМД Сбор потоков в ИС
требований к
архитектуре ИС
Модель
Метаданные
Архитектурная движения
архитектуры
модель ИС информации в
ИС
ИС
Метаданные Анализ
Схемы переноса
источников источников
данных
данных данных
Метаданные Метаданные
системы ВРД системы ИПЗ
Рисунок 3.1. Алгоритм действий по проектированию БМД.
В ходе исследования подробно рассмотрена спецификация «Общая
метамодель хранилища», являющаяся частью модельно-ориентированного
19подхода к разработке программного обеспечения (Model Driven Architecture).
На приведенных примерах показано применение спецификации CWM для
построения модели БМД.
Первый пример описывает создание метаданных реляционной таблицы
являющейся атрибутивной частью одноименного векторного слоя,
импортированной из ГИС, которая станет источником данных для ХГД. Второй
пример описывает физическое развертывание реляционной таблицы.
Аналогично, используя понятие эквивалентности классификатора,
создаются модели для объектно-ориентированной таблицы, ориентированной
на запись таблицы, многомерной таблицы и XML документов.
Дополнительно в третьей главе приведено соответствие применения
пакетов метамодели CWM для создания моделей метаданных, на основе ранее
сформированного набора метаданных.
Анализ возможности применения спецификации «Общая метамодель
хранилища» (CWM) и ГОСТ 52573-2006 «Географическая информация.
Метаданные» при проектировании базы метаданных хранилища геоданных
показал необходимость расширения их возможностей за счет друг друга. При
этом необходимо учитывать, что стандарты находятся на разных уровнях
абстракции, не смотря на то, что оба описываются с помощью универсального
языка моделирования в виде диаграммы классов UML.
По результатам анализа на рисунке 3.2 приведена схема базы метаданных
хранилища геоданных.
Дополнительно, основываясь на приведенном наборе элементов
метаданных, на рисунке 3.3 изображена общая концептуальная схема БМД
среды ХГД.
20Рисунок 3.2. Схема базы метаданных хранилища геоданных
Рис. 3.3. Общая концептуальная схема БМД среды ХГД
22Заключение
В ходе проведения диссертационного исследования были решены
следующие задачи: сформирован базовый набор метаданных, разработана
концептуальная модель БМД и описана последовательность действий по
созданию БМД. Решение этих задач позволяет создать на этой базе методику
проектирования БМД ХГД.
Дополнительно в работе был выполнен сравнительный анализ
исследований в области хранилищ геоданных и баз метаданных, а также
сравнительный анализ существующих методик проектирования БМД ХГД.
В ходе рассмотрения существующих подходов к проектированию
программных продуктов, обоснована целесообразность применения,
модульного подхода к построению ХГД в целом и БМД в частности, а также
использование итеративной модели жизненного цикла. Например, проведенный
анализ возможности применения спецификации «Общая метамодели
хранилища» и ГОСТ 52573-2006 «Географическая информация. Метаданные»
при проектировании БМД ХГД показал необходимость.
Построенная в виде диаграммы классов UML концептуальная схема БМД
может быть использована при проектировании базы метаданных хранилища
геоданных для решения корпоративных картографо-геодезических задач.
Полученная методика проектирования может применяться при
проектировании хранилища геоданных в рамках ИПД и дополнительно
позволяет описывать процессы, происходящие с пространственными данными.
В свою очередь описание процессов позволит пользователям и аналитикам
видеть, что происходит с данными в процессе обработки и позволяет проводить
более эффективный анализ данных.
Хранение геоданных на основе хранилища геоданных позволяет
повысить эффективность работы с распределенными данными, поднять
производительность системы в области обработки и хранения данных и
увеличить удобство эксплуатации и поиска требуемой информации.Список опубликованных работ по теме диссертации:
1. Зайцев В.В. Стандарты метаданных и их применение в
геоинформатике // Геодезия и картография. – 2013. – № 11. – С. 46-50.
2. Майоров А.А., Зайцев В.В. База метаданных хранилища геоданных //
Известия высших учебных заведений: Геодезия и аэрофотосъемка. –
2013. – № 5. – С. 92-95.
3. Майоров А.А., Зайцев В.В. Описание подхода к проектированию
общей модели базы метаданных хранилища геоданных // Известия
высших учебных заведений: Геодезия и аэрофотосъемка. – 2013. –
№ 6. – С. 83-86.
24Вы также можете почитать
