Проектирование баз и хранилищ данных

У каждого  из вышеперечисленных подходов к  работе с данными есть свои достоинства  и свои недостатки, которые и определяют область применения того или иного метода, и в настоящее время все подходы широко используются.

Тема 2. Основные понятия и определения

Современные авторы часто употребляют термины  – «банк данных» и «база  данных» как синонимы, однако в общеотраслевых руководящих материалах по созданию банков данных Государственного комитета по науке и технике (ГКНТ), изданных в 1982 г., эти понятия различаются. Там приводятся следующие определения банка данных, базы данных и СУБД:

Банк  данных (БнД) — это система специальным образом организованных данных — баз данных, программных, технических, языковых, организационно- методических средств, предназначенных для обеспечения централизованного накопления и коллективного многоцелевого использования данных.

База данных (БД) — именованная совокупность данных, отражающая состояние объектов и их отношений и рассматриваемой предметной области.

Под предметной областью понимают один или несколько  объектов управления 
(или определенные их части), информация которых моделируется с помощью БД и используется для решения различных функциональных задач.

Система управления базами данных (СУБД) — совокупность языковых и программных средств, предназначенных для создания, ведения  и совместного использования  БД многими пользователями. В ней можно выделить: 
- ядро СУБД, которое обеспечивает организацию ввода, обработки и хранения данных, 
- компоненты, которые обеспечивают отладку системы, средства тестирования, 
- утилиты, которые обеспечивают выполнение вспомогательных функций

(например, ведение журнала статистики работы системы и др.). 
Очень важной задачей СУБД является обеспечение независимости данных. 
Практически одна и одна и та же СУБД может быть использована для ведения абсолютно разных файлов, которые используются для решения разноплановых, не связанных между собою задач управления. Все функции СУБД можно объединить в такие группы:

1. Управление  данными. Задачами управления  данных является подготовка данных  и их контроль, внесение данных  в базу, структуризация данных, обеспечение целостности, секретности данных.

2. Доступ  к данным. Поиск и селекция  данных, преобразование данных в  форму, удобную для дальнейшего  использования.

3. Организация  и ведение связи с пользователем.  Ведение диалога, выдача диагностических  сообщений об ошибках в работе по БД и т.д.

Для обработки  запросов к БД разрабатывают программы, которые составляют прикладное программное  обеспечение. Программы, с помощью  которых пользователи работают с  базой данных, называются приложениями. В общем случае с одной базой данных могут работать множество различных приложений. 
Например, если база данных моделирует некоторое предприятие, то для работы с ней может быть создано приложение, которое обслуживает подсистему учета кадров, другое приложение может быть посвящено работе подсистемы расчета заработной платы сотрудников, третье приложение работает как подсистема складского учета, четвертое приложение посвящено планированию производственного процесса. При рассмотрении приложений, работающих с одной базой данных, предполагается, что они могут работать параллельно и независимо друг от друга, и именно СУБД призвана обеспечить работу множества приложений с единой базой данных таким образом, чтобы каждое из них выполнялось корректно, но учитывало все изменения в базе данных, вносимые другими приложениями.

Языковые  средства банка данных

Языковые  средства СУБД, необходимые для описания данных, организации общения и  выполнения процедур поиска и различных  преобразований данных. 
Язык описания данных (DDL - Data Definition Language), предназначен для описания данных на разных уровнях абстракции: внешнем, логическом и внутреннем. Исходя из предложений CODASYL, языки описания данных на логическом (концептуальном) и внутреннем уровнях независимые и разные. 
Однако в большинстве промышленных СУБД языки не делится на два отдельных языка описания логической и физической организации данных, а существует единый язык, которая еще называется языком описания схем. В известных и широко используемых на практике СУБД семьи dBASE применяется единый язык описания данных. Он предназначен для представления данных на логическом и физическом уровнях. Этот язык имеет свой синтаксис: например, имя файла не должно превышать восьми символов, а имя поля - десяти; при этом каждое имя может начинаться с буквы, поля календарной даты обозначаются символом D 
(DATA), символьные поля — С (CHARACTER), числовые — N (NUMERIC), логические 
— L (LOGICAL), примечаний — М (MEMO).

Описание  всех имен, типов и размеров полей  сохраняется в памяти вместе с  данными; эти структуры в случае необходимости можно просмотреть и исправить. Если логический и физический уровни отделены, то в состав СУБД может входить язык описания сохранения данных. В некоторых СУБД используется еще язык описания подсхем, который нужен для описания части 
БД, которая отражает информационные потребности отдельного пользователя или прикладной программы. В составе СУБД типа dBASE такой язык не используется.

Язык  описания данных на внешнем уровне используется для описания требований пользователей и прикладных программ и создания инфологической модели БД. Этот язык не имеет ничего общего с языками программирования. 
Так, языковым средством, которое используются для инфологического моделирования, является обычный естественный язык или его подмножество, а также язык графов и матриц.

Язык  манипулирования данными (DML - Data Manipulation Language) используется для обработки  данных, их преобразований и написания  программ. 
DML может быть базовым или автономным.

Базовый язык DML — это один из традиционных языков программирования 
(BASIC, C, FORTRAN и др.). Системы, которые используют базовый язык, называют открытыми. Использование базовых языков как языков описания данных сужает круг лиц, которые могут непосредственно обращаться к БД, поскольку для этого нужно знать язык программирования. В таких случаях для упрощения общения конечных пользователей с БД предполагается язык ведения диалога, который значительно проще для овладения, чем язык программирования.

Автономный  язык DML — это собственный язык СУБД, который дает возможность выполнять различные операции с данными. Системы с собственным языком называют закрытыми.

В современных  СУБД для упрощения процедур поиска данных в БД предусмотрен язык запросов. Наиболее распространенными языками  запросов являются SQL и QBE.

Язык  запросов SQL (Structured Query Language - структурированный язык запросов) был создан фирмой IBM в рамках работы над проектом построения системы управления реляционными базами данных в начале 70-х годов. 
Американский национальный институт стандартов (ANSI) положил этот язык в основу стандарта языков реляционных баз данных, принятого Международной организацией стандартов (ISO). Ядром существующего стандарта SQL-86, которые часто называют SQL-2 или SQL-92, являются функции, реализованные практически во всех известных коммерческих реализациях языка, а полный стандарт вмещает такие усовершенствования, которые некоторые разработчики будут должны еще реализовать.

Кроме стандарта SQL-86 существует коммерческий стандарт языка SQL, разработанный консорциумом производителей баз данных SQL Access Group. Эта группа создала такой вариант языка, который используется большинством систем и дает возможность им «понимать» одна другую.

Был разработан стандартный интерфейс языка CLI (Common Language 
Interface) для всех основных вариантов языка SQL. Этот интерфейс, формализованный фирмой Microsoft, получил название ODBC (Open DataBase 
Connectivity — открытый доступ к данным). ODBC — это интерфейс доступа к данным, которые сохраняются под управлением разных СУБД. ODBC имеет целый набор драйверов, с помощью которых одна СУБД может работать с данными других систем. Язык запросов QBE (Query By Example) — это реализация запросов по образцу в виде таблиц. Для определения запроса к БД пользователь должен заполнить предоставленную системой таблицу QBE и определить в ней критерии поиска и выбора данных.

Пользователи  банков данных

Как любой  программно-организационно-технический  комплекс, банк данных существует во времени  и в пространстве. Он имеет определенные стадии своего развития:

1. Проектирование.

2. Реализация.

3. Эксплуатация.

4. Модернизация  и развитие.

5. Полная  реорганизация.

На каждом этапе своего существования с  банком данных связаны разные категории  пользователей.

Определим основные категории пользователей  и их роль в функционировании банка  данных: 
. Конечные пользователи. Это основная категория пользователей, в интересах которых и создается банк данных, В зависимости от особенностей создаваемого банка данных круг его конечных пользователей может существенно различаться. Это могут быть случайные пользователи, обращающиеся к БД время от времени за получением некоторой информации, а могут быть регулярные пользователи. В качестве случайных пользователей могут рассматриваться, например, возможные клиенты вашей фирмы, просматривающие каталог вашей продукции или услуг с обобщенным или подробным описанием того и другого. Регулярными пользователями могут быть ваши сотрудники, работающие со специально разработанными для них программами, которые обеспечивают автоматизацию их деятельности при выполнении своих должностных обязанностей. Например, менеджер, планирующий работу сервисного отдела компьютерной фирмы, имеет в своем распоряжении программу, которая помогает ему планировать и распределять текущие заказы, контролировать ход их выполнения, заказывать на складе необходимые комплектующие для новых заказов. Главный принцип состоит в том, что от конечных пользователей не должно требоваться каких-либо специальных знании в области вычислительной техники и языковых средств. 
. Администраторы банка данных. Это группа пользователей, которая на начальной стадии разработки банка данных отвечает за его оптимальную организацию с точки зрения одновременной работы множества конечных пользователей, на стадии эксплуатации отвечает за корректность работы данного банка информации и многопользовательском режиме. На стадии развития и реорганизации эта группа пользователей отвечает за возможность корректной реорганизации банка без изменения или прекращения его текущей эксплуатации. 
. Разработчики и администраторы приложений. Это группа пользователей, которая функционирует во время проектирования, создания и реорганизации банка данных. Администраторы приложений координируют работу разработчиков при разработке конкретного приложения или группы приложений, объединенных в функциональную подсистему. Разработчики конкретных приложений работают с той частью информации из базы данных, которая требуется для конкретного приложения.

Не в  каждом банке данных могут быть выделены все тины пользователей. Мы уже знаем, что при разработке информационных систем с использованием настольных СУБД администратор банка данных, администратор приложении и разработчик часто существовали в одном лице. Однако при построении современных сложных корпоративных баз данных, которые используются для автоматизации всех или большей части бизнес-процессов в крупной фирме или корпорации, могут существовать и группы администраторов приложений, и отделы разработчиков. Наиболее сложные обязанности возложены на группу администратора БД.

Рассмотрим  их более подробно. В составе группы администратора БД должны быть:

. системные  аналитики;

. проектировщики  структур данных и внешнего  по отношению к банку данных  информационного обеспечения;

. проектировщики  технологических процессов обработки  данных;

. системные  и прикладные программисты:

. операторы  и специалисты по техническому  обслуживанию.

Если  речь идет о коммерческом банке данных, то важную роль здесь играют специалисты  по маркетингу.

Основные  функции группы администратора БД

1. Анализ  предметной области: описание  предметной области, выявление ограничений целостности, определение статуса (доступности, секретности) информации, определение потребностей пользователей, определение соответствия «данные - пользователь», определение объемно-временных характеристик обработки данных.

2. Проектирование структуры БД: определение состава и структуры файлов

БД и  связей между ними, выбор методов  упорядочения данных и методов доступа  к информации, описание БД на языке  описания данных (ЯОД).

3. Задание  ограничений целостности при  описании структуры БД и процедур обработки БД:

. задание  декларативных ограничений целостности,  присущих предметной области;

. определение  динамических ограничений целостности,  присущих предметной области  в процессе изменения информации, хранящейся в

БД;

. определение  ограничений целостности, вызванных структурой БД;