«Хранилище данных» и его использование в корпоративных информационных системах.

МИНОБРНАУКИ РОССИИ

Федеральное государственное  бюджетное образовательное учреждение 
высшего профессионального образования 
«Волгоградский государственный социально-педагогический университет» 
(ФГБОУ ВПО «ВГСПУ»)

Факультет математики, информатики  и физики

Кафедра информатики и  информатизации образования

 

 

 

 

 

«Хранилище данных»  и его использование в корпоративных  информационных системах.

реферат

 

 

 

 

 

	Исполнитель: Кадырмаев Андрей Валерьвич  МИФ М 51

 

Оглавление

Введение 2

Что такое  хранилище данных 3

Назначение  продукта 3

Модели данных 5

Ведение НСИ 7

Данные и  метаданные 9

Состав корпоративного хранилища данных 9

Заключение 18

Список литературы 19

 

Введение

В настоящее время совершенствование  корпоративного управления становится ключевой стратегической задачей развития и жизнедеятельности любого предприятия. В силу того, что практически все  экстенсивные способы совершенствования  управления исчерпаны, единственным способом выживания в конкурентной борьбе остаются интенсивные способы улучшения  управления. Одним из таких способов является информатизация корпоративного управления за счет внедрения информационных технологий.

 

Что такое хранилище данных

Хранилище данных, как один из важнейших инструментов управления и развития бизнеса является предметно-ориентированным, интегрированным, зависимым от времени  набором данных. Хранилище данных нацелено не только на автоматизацию  бизнес-процессов, но и на содержательный анализ информации и предназначено для поддержки принятия решений, а его пользователи - это высший и средний менеджмент организации, аналитики, представители подразделений финансового анализа, маркетинга и других отделов.

Интегрированность данных означает, что, например, данные о клиентах, подразделениях, продуктах и услугах, полученные из различных источников, хранятся согласованно и централизованно. При  этом полная информация о клиенте  может включать данные, поступившие  как из основных транзакционных и  информационных (бухгалтерских, торговых либо банковских) систем, так и из фронт-офисного или иного приложения.

Хранилище содержит исторические данные, или зависимый от времени  набор данных. Если в оперативных  источниках представлены самые последние  значения (например, текущее наименование клиента или его физический адрес), то хранилище данных будет содержать  в себе всю их предысторию с  указанием периода, когда те или  иные данные были актуальны.

Назначение продукта

Хранилище данных позволяет  собрать в едином, по крайней мере с точки зрения пользователя, месте - супербазе всю информацию, которая  может понадобиться управляющему при  принятии решения. Источниками данных для информационного хранилища  служат в первую очередь данные из разрозненных транзакционных и учетных  информационных систем, основанных на различных реляционных СУБД, которые  обслуживают повседневную бизнес-деятельность. Источниками необходимой информации могут быть также газеты, радио, телевидение, Интернет и любые другие. При этом предполагается, что данные предварительно должны быть приведены к единым стандартам, очищены от противоречий, структурированы и обобщены с требуемым уровнем детализации.

Хранилище данных может заменять существующие информационно-аналитические  системы или являться надстройкой  над ними.

Хранилище позволяет вести  процесс анализа показателей  собственной коммерческой деятельности и деятельности конкурентов в  их взаимосвязи с внутренними  и внешними факторами.

Анализ продаж помогает выявлять тенденции, планировать продажи  по продуктам, клиентам, подразделениям и, исходя из результатов сбыта, строить  механизмы стимулирования клиентских и продуктовых подразделений. Благодаря  использованию хранилища данных можно получить интегрированное  представление о результатах  продаж и взять эту информацию на вооружение при формировании планов.

Преимущества  хранилища данных:

• Отсутствие информационного посредника сокращает число невыполненных заказов;
• Повторный анализ может проводиться столько раз, сколько это необходимо;
• Использование киоска данных не снижает производительности операционной системы;
• Увеличение числа аналитических функций и совершенствование возможностей генерации отчетов;
• Исходными данными для аналитической системы могут быть либо существующие источники, либо специально организованные хранилища и витрины данных;
• Наилучшим с точки зрения производительности и надежности решения является сохранение данных в корпоративном хранилище. В этом случае при решении задач анализа и оценки используется разнородная, но взаимосвязанная информация о всей финансово-хозяйственной деятельности компании;
• Работа будет происходить только с хранилищем данных и соответственно возрастет скорость выполнения заданий;
• Базы данных имеющихся информационных систем не будут загружаться дополнительной работой;
• Сохранность всех исторических данных будет обеспечена.

Модели данных

TEDF может быть реализовано  как на реляционной, так и  на многомерной СУБД. Центральным  компонентом хранилища является  отраслевая модель данных. Витрины,  построенные на основе хранилища  данных или на базе первичных  источников, проектируются для удовлетворения  потребностей определенной группы  пользователей, ориентированных  на решение конкретных аналитических  задач. Витрины позволяют сравнительно  легко обеспечить приемлемую  производительность, так как содержат  меньший объем данных, заблаговременно  их агрегируют и востребованы  ограниченным кругом пользователей.

Анализ данных в хранилище  реализуется компонентом UniCube, поддерживающим многомерное представление и  визуализацию данных с целью их анализа  и подготовки отчетов.

Компонент Trisoft UniCube характеризуется  следующими возможностями:

• Разделение данных на показатели (переменные) и измерения, определяющие соответственно состояние и пространство бизнеса.
• Логическое представление значений показателей в виде многомерных кубов, упорядоченных по равноправным измерениям.
• Неограниченное число и количество уровней иерархических связей между значениями измерениями.
• Гибкое манипулирование данными. Возможность построение подмножества значений показателя по любому дискриминирующему правилу, определенному на множестве значений его измерений.
• Неограниченные возможности агрегирования заданного подмножества значений показателя. Предоставлятется возможность вычислять не только сумму значений, но и любой другой определенный пользователем функционал, например, минимум, максимум, среднее, медиану и прочие.
• Возможность обработки запросов в "реальном времени" - в темпе процесса аналитического осмысления данных пользователем.
• Развитые средства табличного и графического представления данных пользователю.

Крупнейшие компании России внедряют хранилища с середины 90х  годов. Предыдущие проекты нельзя назвать  неуспешными, так как они решали текущие задачи, в частности, обеспечить руководство компании достоверной  непротиворечивой информацией хотя бы по некоторым направлениям деятельности. Однако рост компаний, изменение законодательства и возросшие требования к стратегическому  анализу и планированию требуют  дальнейшего развития стратегий  построения хранилища данных.

К этому времени в компаниях  уже сформировалось понимание, что  для успешного создания хранилища  данных необходимо создание системы  централизованного ведения НСИ  и системы управления метаданными. К сожалению, эти проекты все  еще рассматриваются по отдельности. Принято считать, что создание корпоративных  хранилищ данных (КХД) является проектом интеграции данных из разрозненных источников. В то же время, источники содержат не только данные, но и НСИ, а также элементы метаданных. Как правило, крупные компании начинают проект построения хранилищ данных без выделения средств и ресурсов на ведение метаданных или НСИ.

Причиной построения хранилищ данных в большинстве случаев  являются требования бизнес - пользователей, которые более не в состоянии  сводить воедино данные из различных  информационных систем. То есть, именно требования бизнес - пользователей  определяют, в первую очередь, информационное содержание будущего хранилища данных.

Источниками данных для будущего хранилища являются транзакционные базы данных (OLTP), унаследованные системы, файловые хранилища, интранет-сайты, разрозненные локальные аналитические приложения. Прежде всего, необходимо определить, где находятся требуемые данные. Поскольку, как правило, эти данные хранятся в различных форматах, необходимо их привести к единому виду, для  чего применяются довольно сложные  системы извлечения, преобразования и загрузки (Extract, Transformation, Load -ETL) в  хранилище данных.

Эта работа не может быть выполнена без сопутствующего анализа  метаданных и НСИ. Более того, практика внедрения хранилищ данных показала , что метаданные, созданные и импортированные из различных источников, фактически управляют всем процессом сбора данных.

Ведение НСИ

Прототипом системы управления метаданными являлись системы словарей-справочников данных, которые были предназначены  для логической централизации сведений об информационных ресурсах предприятия и должны были выполнять функции инструмента управления информационными ресурсами предприятия.

Источники данных, в том  числе транзакционные системы, содержат метаданные в неявном виде. Например, названия таблиц и имена столбцов в таблицах являются техническими метаданными, а определения сущностей, хранящихся в таблицах, представляют собой бизнес метаданные. Статистика работы приложений, которая может вестись в системах мониторинга, должна быть отнесена к операционным метаданным. Связь между ролями в проекте и правами доступа к базе данных, в том числе правами администрирования, а также данные для аудита и управления изменениями, обычно относятся к проектным метаданным. И, наконец, самая важная часть метаданных - это бизнес метаданные, которые включают в себя бизнес-правила, определения, терминологию, глоссарии, происхождение данных и алгоритмы их обработки.

Структура хранилища данных включает три основных уровня информации: детальные, сводные и архивные данные, а также сопровождающие их метаданные ³. В настоящее время стало ясно, что этот список должен быть дополнен нормативно-справочной информацией. Связь между данными, НСИ и метаданными можно наглядно представить в виде треугольника (рис. 1).

 
 

Как видно из рисунка, все  взаимосвязи распадаются на три  пары:

• данные - метаданные
• данные - НСИ
• метаданные - НСИ

Данные и метаданные

В корпоративных информационных системах все не так просто и очевидно. Несмотря на то, что первые публикации о необходимости создания систем словарей-справочников появились в  середине 80-х годов, корпоративные  ресурсы все еще проектируются, разрабатываются и эксплуатируются  обособленно, без создания единого  смыслового пространства. Подобная ситуация в библиотечном деле означала бы, что  читатель одной библиотеки даже не смог бы узнать, есть ли необходимая  ему книга в другой библиотеке. В 1995г. была опубликована статья ⁴, в которой было указано, что для успешной интеграции данных необходимо организовать и поддерживать поток метаданных. На языке пользователей библиотек это открытие звучит приблизительно так: "Библиотеки должны обмениваться информацией о книгах в едином формате". Сейчас стало ясно, что это требование нуждается в уточнении, так как метаданные порождаются на всех этапах создания и эксплуатации информационных систем.

Состав корпоративного хранилища  данных

Состав корпоративного хранилища  данных

Корпоративное хранилище  данных (КХД) преобразует данные, метаданные и НСИ из разнородных источников и предоставляет их пользователям  аналитических систем как единую версию правды. Под источниками данных обычно понимают транзакционные базы данных, унаследованные системы, файлы  различных форматов, а также иные источники, данные из которых должны быть предоставлены пользователям.

В состав КХД входят:

1. средства ETL извлечения, преобразования и загрузки данных в центральное хранилище данных;
2. центральное хранилище данных (ЦХД), предназначенное и оптимизированное для надежного и защищенного хранения данных;
3. витрины данных, обеспечивающие эффективный доступ пользователей к данным, которые хранятся в структурах, оптимальных для решения конкретных задач пользователей.