«Хранилище данных» и его использование в корпоративных информационных системах.

Центральное хранилище включает в себя, прежде всего, три репозитория:

1. репозиторий нормативно - справочной информации (НСИ);
2. репозиторий данных;
3. репозиторий метаданных.

В рассмотренную схему  не входят оперативный склад данных, зоны промежуточного хранения (staging area), средства доставки данных и доступа  к ним, приложения и другие компоненты КХД, несущественные для данного  уровня детализации.

 

 

Необходимость в репозитории  данных стала бесспорной после ряда неудачных попыток создать виртуальные  хранилища данных. В этой архитектуре  клиентская программа напрямую получала данные из источников, преобразуя их на лету. Время ожидания исполнения запроса и преобразования данных компенсировалось простотой архитектуры. Поскольку результат выполнения запроса не сохранялся, повторный запрос с теми же или подобными параметрами требовал повторного преобразования данных, что и привело к отказу от виртуальных хранилищ и к созданию репозиториев данных.

Текущая ситуация с метаданными  и НСИ напоминает положение с  виртуальными хранилищами данных. Метаданные и НСИ интенсивно используются на этапе загрузки данных. Очищенные  данные размещаются в хранилище  данных. Но метаданные и НСИ отбрасываются, как отработанный материал. Создание репозиториев метаданных и НСИ позволит значительно сократить издержки на реализацию КХД и повысить качество информационного обслуживания бизнес - пользователей благодаря многократному  использованию согласованных метаданных и НСИ из единого источника.

Пример реализации существующих подходов

В качестве иллюстрации существующих подходов к интеграции данных можно  привести статью  о внедрении системы НСИ в банке. Банк затратил более шести месяцев на реинжиниринг процессов планирования и прогнозирования для управления эффективностью деятельности. Успех внедрения инициативы управления НСИ вице-президент банка объясняет тем, что команда сосредоточилась на решении локальной задачи, избегая "большого взрыва", под которым понимается создание корпоративного хранилища данных. По его мнению, создание корпоративных мастер данных является долгой, сложной и рискованной работой.

В качестве следующего этапа  планируется создание системы банковской отчетности на основе интеграции всех основных банковских систем с целью использования более детальных данных, согласованных с главной бухгалтерской книгой. В результате будет создан репозиторий финансовых данных, который должен стать основным источником для всех финансовых отчетных систем, и будет поддерживать технологию детализированного (drill-down) анализа.

Внимательное прочтение  статьи приводит к следующим выводам. Прежде всего, этот проект не предусматривал интеграцию корпоративных данных и  охватывал только реинжиниринг процессов  планирования и прогнозирования. Созданный  репозиторий данных, по-видимому, является узко тематической витриной, и не способен поддерживать распространенные аналитические  методы, например, технологию детализированного (drill-down) анализа.

В противоположность этому, корпоративное хранилище данных предоставляет согласованные корпоративные  данные для широкого ряда аналитических  приложений. На практике, единую версию данных способно обеспечить только корпоративное  хранилище данных, работающее в одной  связке с корпоративными системами  ведения НСИ и метаданных. В  статье же описывается создание единой версии правды лишь для метаданных, ограниченных областью финансовой отчетности.

Таким образом, проектная  команда внедрила системы ведения  метаданными и НСИ для одной  специфической области деятельности. Команда сознательно избегала решений  уровня предприятия - не было внедрено ни корпоративное хранилище данных, ни системы ведения метаданными  или НСИ компании.

Утверждения о практической невозможности внедрения корпоративного хранилища данных опровергаются  проектами, ведущимися сотрудниками IBM на регулярной основе.

Это проект - типичный "fast win", основная цель которого - демонстрация быстрого маленького успеха. На данном этапе никто не задумывается о  том, какова будет цена переработки  созданных приложений и их включения  в корпоративную инфраструктуру. К сожалению, все чаще приходится устранять последствия активности "быстрых победителей", всячески избегающих сложных, длительных и потому рискованных решений.

Практическая реализация тройной стратегии.

Хранилище данных как корпоративная  память должно предоставлять целостную  непротиворечивую информацию, но обычно это не достигается из-за противоречивой НСИ и недостатка единого понимания  смысла данных (т.е. метаданных).

Известным решением является анализ данных и метаданных в рамках проекта интеграции данных, но без  создания систем ведения метаданных и НСИ. Внедрение этих систем обычно рассматриваются как отдельные  проекты и исполняются после  внедрения хранилища данных (рис.3).

Недостатки такого подхода  обнаруживаются в процессе эксплуатации, а именно, невысокое качество информации, предоставляемой конечным пользователям  хранилища данных, из-за отсутствия согласованного управления метаданными  и НСИ, дополнительные расходы на переработку хранилища данных с целью приведения существующих процессов интеграции данных в соответствие с требованиями новых систем управления метаданными и/или НСИ. В результате заказчик получает неэффективную работу трех систем управления данными, метаданными и НСИ, сосуществование модулей с близкой функциональностью, растущую стоимость разработки, высокую стоимость владения и разочарование пользователей из-за расхождения данных, метаданных и НСИ.

Проекты по интеграции данных, метаданных и НСИ, выполненные последовательно  в любом порядке, не могут обеспечить пользователям требуемое качество информации.

Чтобы решить эту задачу при построении хранилища данных, три взаимосвязанных проекта  интеграции данных, метаданных и НСИ  должны выполняться одновременно (рис.4).

1. Интеграция корпоративных метаданных устанавливает единое понимание смысла данных и метаданных.
2. Интеграция НСИ исключает конфликты в кодировке данных и метаданных.
3. Интеграция данных предоставляет конечным пользователям единую версию правды на основе согласованных метаданных и НСИ

Корпоративное хранилище  данных, построенное в результате скоординированного исполнения этих трех проектов, имеет более высокое  качество при пониженной стоимости  и сокращенном времени разработки. Предлагаемая стратегия повышает качество информации, предоставляемой хранилищем данных для бизнес - пользователей, и, следовательно, обеспечивает лучшую поддержку принятия решений на основе более точной информации.

Эти три интеграционных проекта (для данных, метаданных и НСИ), выполненные  параллельно, позволяют реализовать  согласованные архитектуры, окружение, жизненные циклы и ключевые возможности  для хранилища данных и систем ведения метаданных и НСИ. Проекты  могут начинаться с небольшой  задержкой относительно друг друга, с тем, чтобы основная часть всех работ выполнялась параллельно.

На практике существует множество  способов, методов и подходов, обеспечивающих успех параллельного скоординированного исполнения трех крупных проектов интеграции данных, метаданных и НСИ.

1. Три проекта желательно (но не обязательно) объединить в единую программу.
2. Необходимо придерживаться одного из всемирных или национальных стандартов в области управления проектами (напр., Guide to Project Management Body of Knowledge или PRINCE2).
3. Следует выбрать соответствующий жизненный цикл разработки (каскадная модель, спиральная, инкрементальная и так далее).
4. Выбрать подходящее окружение (среду)
• Для хранилища данных (возможно, источники данных, ETL / ELT, репозитории данных, зоны промежуточного хранения, операционные склады данных, прикладные витрины данных, тематические и региональные витрины данных, аналитические средства, генераторы отчетов и другие приложения)
• Для метаданных (напр., Управляемая среда метаданных с 6 уровнями: уровни источников, интеграции, репозиториев, управления, витрин метаданных и доставки)
• Для НСИ (как вариант, зона восходящих потоков НСИ, ядро управления НСИ, зона нисходящих потоков НСИ)
5. Выбрать пригодную архитектуру
• Для хранилища данных (существует около 20 вариантов архитектур хранилищ данных)
• Для метаданных (централизованная, децентрализованная, распределенная))
• Для НСИ (реестр, репозиторий или веерная архитектура)
6. Выбрать уместный жизненный цикл
• Для данных (вариант цикла: понимание, извлечение, преобразование, загрузка, консолидация, архивирование, доставка)
• Для метаданных (вариант цикла: разработка, публикация, владение, потребление, управление метаданными)
• Для НСИ (вариант цикла: отождествление, создание, обзор, публикация, обновление, выведение из использования)
7. Выбрать ключевые характеристики
• Для хранилища данных (зависят от функциональных и нефункциональных требований)
• Для метаданных (определить типы метаданных и их характеристики)
• Для НСИ (вариант характеристик: доступ к данным, отождествление ключей, управление записями, управление иерархиями, модель данных, управление данными, технологические операции и безопасность, интероперабльность)

Следует определить набор  ролей и специалистов в трех проектах и выбрать рабочие инструменты  для каждой роли в команде.

Особенностью, которая абсолютно  необходима для реализации предлагаемой стратегии, является координация этих проектов. В общем случае, такая  координация является предметом  управления программами. Специфические  детали межпроектного взаимодействия (кто, что, когда, где, как, почему) зависят  от проектного окружения, которое было описано выше.

 

Заключение

В настоящее время IBM является единственной компанией, которая предлагает почти полный набор продуктов  для осуществления предлагаемой идеи. К ним относятся средства извлечения данных из разнородных источников, средства ведения глоссария метаданных, инструменты проектирования структур данных, средства извлечения и ведения  НСИ, современные методологии проектирования среды бизнес - разведки (BI), индустриальные модели данных, а также ПО промежуточного слоя, позволяющее связать компоненты в единую среду информационного  обслуживания пользователей.

Идея тройной стратегии, изложенная в данной работе, могла  возникнуть в 90-х годах прошлого века. Но ее осуществление было практически  невозможно из-за огромных временных, финансовых и трудовых затрат на разработку необходимого инструментария, который  стал доступен в последнее время.

 

Список литературы

1. “Введение в CRM” – Бирюков В., Дрожжинов В.– №25, 2001. 
2. “Внедрение ERP-систем. Основные ошибки” - Мухтарова Г.– “Директор-инфо” (№36, 2003).
3. “Выбор ПО для автоматизации управления” – Филипенко И. –

“Корпоративные системы” (№3, 2001).

4. “Информационные технологии в Управлении предприятием” – Крылович А.В. – http://www.cfin.ru/itm/kis/ .
5. “Использование программы SAP/R3 в целях управленческого учёта” – Круглов А.А., Родионов Д.А. – Тезисы докладов VII Всероссийской научной студенческой конференции – Воронеж: ВГУ, 2004 – С. 71.
6. “Корпоративные информационные системы на платформе Microsoft” – Стахурлов С.В. – Материалы Третьей всероссийской научно-практической конференции “Электронный бизнес: опыт и перспективы – 2004”. – Воронеж: ВГУ, 2004. – С. 37 - 44. 
7. “Наиболее эффективные методы внедрения систем управления” – Квинтин Андерсон – http://www.cfin.ru/vernikov/kias/ .
8. “Российские предприятия задумались об автоматизации” – КИА центр – “Логинфо” (№5, 2001). 
9. “Российский рынок CRM-решений” – Голод Е.– “Планета КИС”, 2002. 
   “Управление общей стоимостью владения КИС” – Козаченко В.Е. 
10. “Управление взаимоотношениями с клиентами. Заметки о CRM” – Лошков В.