Оперативный и интеллектуальный анализ данных

• Определить, на основе чего будет построена структура и модель ИАД: на основе реляционной базы данных или на основе существующего куба в базе данных OLAP;
• Определить объем данных, который будет использоваться для обучения, и объем, который будет использоваться для проверки. После разбиения данных на обучающий и проверочный набор эти данные могут быть использованы всеми моделями на основе данной структуры;
• Определить, какие столбцы или атрибуты будут использоваться для прогноза, а какие будут входными данными для анализа. Кроме того, в каждой структуре должен присутствовать ключ, однозначно идентифицирующий запись варианта;
• Определить используемый алгоритм, предусмотренный службами SQL Server Analysis Services и отличающийся своими характеристиками. Можно создать несколько моделей на основе различных алгоритмов или изменить параметры алгоритмов.

После завершения работы мастера ИАД с помощью конструктора ИАД можно изменить структуру и модели ИАД, просмотреть точность модели, просмотреть характеристики структуры и моделей или выполнить прогнозирование с использованием этих моделей.

Для запуска мастера ИАД следует добавить новую структуру ИАД к проекту служб Analysis Services, используя обозреватель решений или меню Проект в среде BI Dev Studio.

Мастер  интеллектуального анализа данных имеет две ветви, в зависимости от того, содержатся ли данные в реляционном источнике данных или в кубе. При построении модели ИАД на основе реляционного источника данных в службах Analysis Services сначала в мастере ИАД указывается, что необходимо использовать существующую реляционную БД для определения структуры этой модели. Кроме того, можно создать только структуру ИАД или структуру и одну связанную с ней модель ИАД. Если выбрано создание модели ИАД, то необходимо указать используемый метод анализа. 

На  последующих шагах осуществляется выбор конкретного представления источника данных, которое необходимо использовать для определения структуры ИАД, а также указание таблицы вариантов. Таблица вариантов будет использоваться для обучения модели ИАД, а при необходимости её можно использовать и для ее проверки.

Выбор таблицы вариантов представляет собой важное решение при анализе. Таблица должна содержать сущности для анализа. Вложенные таблицы содержат, как правило, дополнительные сведения о сущностях таблицы вариантов, например транзакции, осуществляемые заказчиком, или атрибуты, имеющие с сущностью связь «многие к одному». После указания таблицы вариантов и вложенных таблиц определяется тип использования для каждого столбца в таблицах, которые будут включены в структуру ИАД. Если для столбца не указан тип использования, то этот столбец не будет включен в структуру ИАД.

Столбцы ИАД могут быть ключевыми, входными, прогнозируемыми или комбинацией  входного и прогнозируемого ключа. Ключевые столбцы содержат уникальный идентификатор для каждой строки в таблице. Некоторые модели ИАД, основанные на алгоритмах кластеризации последовательностей и временных рядов, могут содержать несколько ключевых столбцов. Однако эти несколько ключей не являются составными в реляционном смысле, а должны быть выбраны для обеспечения поддержки анализа временных рядов и кластера последовательностей. Входные столбцы предоставляют данные, на основе которых осуществляется прогнозирование. Прогнозируемые столбцы содержат данные, которые прогнозирует модель ИАД.

Мастер  ИАД предоставляет функцию Предложить, которая включается при выборе прогнозируемого столбца. Наборы данных часто содержат больше столбцов, чем нужно использовать при построении модели ИАД. Функция Предложить вычисляет численный показатель, от 0 до 1, описывающий связь между каждым столбцом в наборе данных и прогнозируемым столбцом. На основе этого показателя функция предполагает столбцы для использования в качестве входных для модели интеллектуального анализа данных. При использовании функции Предложить можно использовать предполагаемые столбцы, изменить выбор в соответствии с потребностями или пропустить предположения. После выбора одного или нескольких прогнозируемых и входных столбцов можно указать типы содержимого и данных для каждого из них.

Последним шагом перед завершением работы мастера является секционирование данных на обучающие и проверочные наборы. Возможность удерживать часть данных для проверки реализована в версии SQL Server 2008 впервые и представляет собой простой механизм, обеспечивающий доступность согласованного набора проверочных данных для использования со всеми моделями ИАД, связанными с новой структурой. Можно указать в процентах, какая часть данных должна использоваться для проверки, и остальные данные будут использованы для обучения. Также можно указать количество вариантов, которые будут использоваться для проверки.

На  последнем шаге выполнения мастера  указываются имена структуры  ИАД и связанной с ней модели. При выборе параметра разрешить детализацию в модели включается функция детализации. Это позволяет пользователям, имеющим соответствующие разрешения, просматривать исходные данные, которые были использованы для построения модели.

При построении модели ИАД на основе источника  данных OLAP в службах Analysis Services сначала в мастере указывается, что необходимо использовать существующий куб для определения структуры модели. Можно также создать только структуру ИАД или структуру и одну связанную с ней модель. Если выбрано создание модели, то указывается используемый способ ИАД, определяющий алгоритм, наилучшим образом подходящий для решения задачи.

Создание  структуры интеллектуального анализа

 

Структура ИАД представляет собой столбцы  данных, доступных решаемой задачи анализа, сведения о соединении с источниками данных, модели для анализа данных. Модель ИАД описывается подмножеством столбцов структуры. Создание структур и моделей ИАД аналогично созданию таблиц реляционной модели данных с использованием SQL . Например, листинг создания структуры ИАД может иметь вид:

CREATE MINING STRUCTURE [Teacher]

{

     [TeacherID]   LONG  KEY,

     [LastName]    TEXT   DISCRETE,

     [Name]           TEXT   DISCRETE,

     [Age]              LONG  CONTINUOUS,

     [Position]       TEXT    DISCRETE,

     [Status]          TEXT    DISCRETE

}

Оператор CREATE создаёт структуру ИАД со столбцами TeacherID, LastName, Name, Age, Position, Status. В этой  структуре столбец TeacherID (Табельный номер) является ключом, столбцы TeacherID, Age (Возраст) – длинными целыми, столбцы LastName (фамилия), Name (Имя),  Position (должность), Status (Учёное звание) – строки (текст). Наиболее важной частью структуры является имя структуры и список столбцов. Каждый столбец имеет имя, тип данных и содержимого. Типы данных и содержимого, поддерживаемые SQL Server Analysis Services, приведены в таблице 3.1.

Таблица 3.1. Типы данных и содержимого

Тип данных	Типы содержимого
LONG	KEY
DOUBLE	DISCRETE
TEXT	CONTINUOUS
DATE	DISCRETIZED
BOOLEAN	KEY TIME*
TABLE	KEY SEQUENCE**

Тип содержимого DISCRETIZED определяет дискретизацию непрерывных значений на диапазоны.

 

 

 

 

 

Заключение

• Системы Business Intelligence включают средства для построения хранилищ данных (DW), оперативного анализа данных (OLAP), информационно-аналитического сопровождения (EIS-системы), интеллектуального анализа данных (Data Mining) и построения отчётов (Query and reporting tools).
• Системы OLTP, ориентированные на операционную обработку данных, обеспечивают высокую производительность и масштабируемость, безопасность хранения и управление данными, но не поддерживают оперативный анализ данных.
• Решение проблемы оперативного анализа на основе концепции OLAP предполагает многомерное представление данных и обеспечивает высокую производительность логического и статистического анализа.
• Интеллектуальный анализ данных представляет собой процесс принятия решений с использованием поиска в данных скрытых закономерностей (информационных шаблонов).
• Процесс интеллектуального анализа данных включает этапы постановки задачи, объединения и очистки данных, просмотра подготовленных данных, построения модели анализа, исследования построенной модели, развёртывания модели анализа в рабочей среде.
• Архитектура описания данных включает три уровня абстракции: внешний, внутренний и концептуальный.
• Концептуальный уровень описания данных обеспечивает представление данных в абстрактной форме и включает логическое описание элементов данных, отношений между ними и логическую структуру БД. Любые доступные пользователю даны должны содержаться на данном уровне.
• Хранилище данных представляет собой предметно-ориентированное, интегрированное, связанное со временем и неизменное во времени собрание данных. Основными составляющими структуры являются таблицы измерений и фактов.
• Концептуальная многомерная модель данных реализуется на основе представления данных в виде многомерного пространства, размерность которого определяется количеством измерений.
• Компанией Microsoft предложена концепция универсальной многомерной модели данных UDM. Эта концепция позволяет различным приложениям получить доступ к данным реляционных и многомерных БД.   

 

• Конструктор интеллектуального анализ данных предназначен для создания, обучения,  просмотра и сравнения  моделей интеллектуального анализа данных, различающихся типом алгоритма, значениями параметров и столбцами, взятыми из структуры интеллектуального анализа. 
• Структура интеллектуального анализа данных содержит область представления источника данных и область столбцов структуры. Структуру можно изменять, добавлять и удалять столбцы, вложенные таблицы. 
• Мастер интеллектуального анализа данных позволяет определить новые структуры интеллектуального анализа, выбрать источник данных, разбить данные структуры на обучающие и проверочные наборы.
• Модель интеллектуального анализа данных описывается подмножеством столбцов структуры. Создание структур и моделей ИАД аналогично созданию таблиц реляционной модели данных с использованием SQL.

Литературы

. Бергер А.Б. Microsoft SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных / Бергер А.Б, Горбач И.В., Меломед Э.Л, Щербинин В.А., Степаненко В.П. / Под общ. Ред. А.Б. Бергера, И.В. Горбач. – СПб.:  БХВ-Петербург, 2007. – 928 с.

2. Microsoft SQL Server 2008: Data mining – интеллектуальный анализ данных. Пер. с англ. / Дж. Макленнен, Чж. Танг, Б. Криват. – БХВ-Петербург. 2009. – 720 с.

3. Ларсон Б. Разработка бизнес-аналитики в SQL Server 2005. – СПб.: Питер, 2008. – 684 с.