[07-2010] Реализация хранилищ данных в системах поддержки принятия решений

[Admin]

Реализация хранилищ данных в системах поддержки принятия решений

А.Н. ШАБЕЛЬНИКОВ, директор Ростовского филиала ОАО «НИИАС», доктор техн. наук, профессор
В.А.ТАРТЫНСКИЙ, ведущий инженер отдела «Информационные технологии»

Системы поддержки принятия решений используются в повседневной управленческой деятельности. Они оказывают помощь лицам, принимающим решения. Чем больше информации вовлечено в этот процесс, тем более обоснованное решение может быть принято. Такая информация должна быть достоверной, полной, непротиворечивой и адекватной. При проектировании систем поддержки принятия решений СППР первым возникает вопрос, на основе каких данных они будут работать.

Очевидно, что принятие решений должно основываться на реальных данных об объекте управления. Эта информация обычно хранится в оперативных базах данных систем оперативной обработки транзакции OLTP (On-line Transaction Processing) [1], обеспечивающих ввод, структурированное хранение и обработку информации в режиме реального времени. Набор аналитических функций в учетных системах обычно весьма ограничен. Схемы, используемые в OLTP-приложениях, усложняют создание даже простых отчетов, так как данные чаще всего распределены по множеству таблиц и для их агрегирования необходимо выполнять сложные операции объединения. Как правило, попытки создания комплексных отчетов требуют больших вычислительных мощностей и приводят к потере производительности. Кроме того, в подобных системах хранятся постоянно изменяющиеся данные. Некоторые виды анализа требуют таких структурных изменений, которые недопустимы в текущей оперативной среде.

Эта проблема решается созданием отдельного хранилища данных, содержащего агрегированную информацию в удобном виде. Целью построения хранилища данных является интеграция, актуализация и согласование оперативных данных из разнородных источников для формирования единого непротиворечивого взгляда на объект управления в целом. Концепция построения хранилища данных заключается в разделении наборов данных, используемых для транзакционной обработки, и наборов данных, применяемых в СППР. Такое разделение возможно путем интеграции разъединенных в различных OLTP-системах и внешних источниках детализированных данных в едином хранилище, их согласования и возможно агрегации.

СППР и хранилище данных базируются также на их оперативной аналитической обработке OLAP (On-Line Analytical Processing), использующей методы и средства для сбора, хранения и анализа многомерных данных в целях поддержки процессов принятия решений. В основе концепции OLAP лежит понятие гиперкуба или многомерного куба данных, в ячейках которого хранятся анализируемые (числовые) данные. Исходные данные, на основе которых они вычисляются, обозначаются термином measure («мера»), а параметры запросов - термином dimension («измерение»). Одновременный анализ по нескольким измерениям определяется как многомерный. Несмотря на то что предсказать, какую именно информацию и в каком виде захочет получить пользователь, работая с СППР, практически невозможно, измерения, по которым проводится анализ, достаточно стабильны. При подготовке того или иного решения пользователь анализирует срез фактов по одному или нескольким измерениям. Анализ информации, исходя из понятий измерений и фактов, иногда называют многомерным моделированием данных MDM (MultiDimensional Modelling). Архитектурно-технологическая схема системы поддержки принятия решений приведена на рис. 1.

В качестве примера практической реализации хранилища данных в СППР рассмотрим созданную в Ростовском филиале ОАО «НИИАС» подсистему поддержки принятия решений для оперативно-диспетчерского и эксплуатационного персонала автоматизированной сортировочной горки СППР КДК СУ в составе «Комплекса контроля и диагностики станционных устройств зоны ГАЦ с рабочим местом горочного электромеханика АРМ ШН СГ» (КДК СУ ГАЦ). В этом случае OLTP-системами являются подсистемы КДК СУ ГАЦ, собирающие информацию о состоянии напольных устройств и ходе роспуска. К ним относятся: микропроцессорная горочная автоматическая централизация с ведением информации о накоплении вагонов и управлением маршрутами движения отцепов ГАЦ МН; контрольно-диагностический комплекс, осуществляющий диагностирование и протоколирование работы напольного и постового оборудования, протоколирование хода и результатов роспуска в текстовом и графическом виде; комплексная система автоматизированного управления компрессорной станции КСАУ КС и др.

Система поддержки принятия решений КДК СУ включает в себя хранилище данных, средства их оперативной аналитической обработки и интеллектуального анализа. Эта система решает задачи по мониторингу, многофакторному анализу работы сортировочной горки на основе автоматически поступающих из подсистем горочного комплекса данных, поддержке принятия решений по функциональному и стратегическому управлению техноло-гическим процессом работы сортировочной горки, выявлению наиболее «узких» и «проблемных» мест в работе горки. При этом используются новые информационные технологии, обеспечивающие оперативное предоставление сводных, агрегированных показателей работы, необходимых для принятия оперативного и взвешенного решения. Архитектурно-технологическая схема СППР КДК СУ показана на рис. 2.

Создание хранилища данных из независимых источников - многоэтапный процесс, предусматривающий их извлечение из каждого источника, преобразование в соответствии со схемой хранилища, очистку и загрузку в него. Для этого предназначена подсистема сбора и предварительной обработки информации, от которой требуется максимально высокий уровень совместимости и гибкости в настройке, так как источником информации являются самые разноплановые системы, построенные на разнообразных платформах. Так, наряду с другими типами систем управления базой данных, такими как MySQL или IBM DB2, для хранения информации используются обычные текстовые файлы с форматированием. Исходя из описанных ранее условий была выбрана встроенная в Microsoft SQL Server 2005 служба Integration Services, обеспечивающая необходимую гибкость в настройке и планировании задач по сбору и обработке информации.

Хранилище организовано по классической схеме «снежинка» [2], в которой модель данных состоит из таблицы фактов и нескольких таблиц измерений.

Платформа СУБД Microsoft SQL Server выбрана потому, что она позволяет оперировать значительными объемами информации, обеспечивая при этом гибкость в настройке и высокое быстродействие. Это необходимо при обработке телеметрических данных, поступающих с напольных устройств автоматизированной сортировочной горки.

Хранилище разбито натри физические базы, работающие под управлением Microsoft SQL Server 2005:

служебную, со слабо изменяемыми данными, необходимыми для настройки системы, например политика разграничения доступа пользователей;

оперативную, содержащую данные, получаемые от подсистемы сбора и предварительной обработки информации, например данные о ходе роспусков за сутки, и подготовленные для агрегирования и загрузки в многомерные кубы;

архивную, куда попадают данные после загрузки в многомерные кубы.

Для повышения оперативности реализован метод инкрементального обновления кубов, который заключается в передаче в хранилище и оттуда в кубы только изменений, произошедших с момента последнего обновления. Это позволяет значительно сократить объем передаваемых данных, а следовательно, и время их обработки. Во избежание разрушения или потери баз данных, или отдельных компонент предусмотрено регулярное резервирование и автоматическое восстановление.

Подсистема статистического и интеллектуального анализа использует платформу Microsoft Analysis Services для работы с многомерными кубами. Она позволяет оперативно многофакторно анализировать функционирование оборудования КСАУ СП и качественные показатели работы персонала сортировочной горки, отслеживать динамику ключевых показателей (сбоев, отказов, КПД оборудования и др.). При этом формируются необходимые информационно-аналитические материалы (отчеты) в табличном и графическом виде для лиц, принимающих решения разного уровня. В том числе предусмотрен инструментарий для динамического (интерактивного) построения произвольных отчетов в пределах данных информационного хранилища. Он основан на веб-технологиях с использованием Office Web Components в качестве средства визуализации [3].

Используемая серверная архитектура MOLAP (Multidimensional OLAP) не опирается на функциональность основных реляционных систем и напрямую поддерживает многомерные представления данных с помощью многомерного механизма хранения. MOLAP реализует многомерные запросы на уровне хранения путем установки прямого соответствия. Основное преимущество MOLAP заключается в свойствах индексации, её недостаток - низкий коэффициент использования дискового пространства, особенно в случае разреженных данных.

Многомерные кубы в подсистеме статистического и интеллектуального анализа системы поддержки принятия решении КДК СУ созданы на основе групп показателей работы определенных типов устройств. Кроме них, реализованы и так называемые «виртуальные» кубы, представляющие собой объединение измерений из различных кубов с целью проведения более глубокого анализа. Отдельные модули в подсистеме выполняют функции интеллектуального анализа данных, позволяя прогнозировать развитие ситуаций, выявлять тенденции и закономерности в динамике контролируемых показателей.

Создание хранилища данных для СППР - сложный процесс, требующий глубоких знаний бизнес-логики и программно-технического инструментария. Внедрение таких комплексов может дать значительные преимущества. Это подтверждает сравнительный анализ показателей работы в 2005-2008 гг. автоматизированной сортировочной горки на станции Красноярск-Восточный. После внедрения системы поддержки принятия решений КДК СУ отмечен рост эффективности ее работы.

ЛИТЕРАТУРА

1. Codd Е. F., Codd S. В., Salley С. Т. Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate. - E. F. Codd & Associates, 1993.

2. Львов В. Создание систем поддержки принятия решений на основе хранилищ данных / Системы управления базами данных # 3/97. Москва: Издательский дом «Открытые системы». С. 30-40.

3. Архипенков С., Голу-бев Д., Максименко О. Хранилища данных. От концепции до внедрения / Под общ. ред. С. Архи-пенкова. М.: Диалог-МИФИ, 2002.

[СЦБот]

Эта тема была перенесена из раздела Журнал "Автоматика, связь, информатика".

Перенес: Admin