Информационные технологии в статистике

     Основной  характеристикой процесса модернизации является полный переход от разработки статистической информации на больших машинах серии ЕС ЭВМ к разработке статистической информации на персональных вычислительных машинах в условиях локальной сети. Это направление кардинального изменения технической базы принципиально меняет технологию и организацию труда экономиста. Процесс автоматизации обработки статистических данных перемещается на рабочее место статистика, предоставляя ему качественно новые возможности в работе с информационными ресурсами.

     В центральном аппарате Государственного комитета РФ по статистике установлен мощный серверный узел для организации  теледоступа и формирования баз  данных. Главный межрегиональный  вычислительный центр (ГМЦ) в настоящее  время располагает несколькими  специализированными локальными вычислительными  сетями для решения сложных проблем. Локальные вычислительные сети различной  мощности и с разным количеством  рабочих станций в зависимости  от объемов обрабатываемой информации созданы в областных комитетах  государственной статистики. При  этом обеспечена связь между серверным  узлом центрального аппарата и локальной  вычислительной сетью главного межрегионального вычислительного центра с использованием радиомоста, а также с локальными вычислительными сетями областных  комитетов по коммутируемым телефонным каналам связи и сети «Атлас».

     Модернизация  технической базы осуществляется в  направлении достижения однородности вычислительных средств. В условиях однородности и использования локальных  сетей разной мощности проще и  эффективнее решается вопрос о совместимости  уровней иерархической структуры  системы, унификации и типизации  технологических процессов, программного и информационного обеспечения. Локальные вычислительные сети, объединенные в корпоративную сеть, являются современными перспективными техническими средствами обработки статистической информации.

     Наряду  с технической базой принципиально  обновляется системное программное  оснащение. Для оснащения локальных  вычислительных сетей в систему  поставлены программные средства фирмы Microsoft: операционная среда Windows NT; СУБД MS SQL Server; программный пакет Microsoft Office, включающий Access, Word, Excel. Для решения отдельных задач применяется пакет SPSS для аналитической обработки статистической информации.

     Изменения в техническом оснащении требуют  быстрой перестройки программно реализуемой технологии обработки  данных, ориентированной на персональную технику и локальные вычислительные сети с целью ее эффективного использования  и внедрения ресурсосберегающих технологических решений.

     1.2. Электронная обработка  статистических данных

     Электронная обработка данных включает следующие  основные программно реализуемые технологические  этапы:

     сбор, ввод, контроль данных, поступающих от объектов наблюдения;

     формирование  нормативно-справочной информации для  обработки статистических данных;

     формирование  сводных итогов и расчетных показателей, проведение взвешивания по заданным формулам, формирование массивов данных для передачи между уровнями системы, формирование с требуемыми статистическими  данными.

     В технологии сбора социально-экономической  информации новым решением является применение электронных форм взамен бумажных, внедрение безбумажной  технологии. Электронная форма представляет собой не что иное, как компьютерную программу для ввода данных. Электронные  формы в настоящее время разрабатываются  для проведения статистического  наблюдения как для ПЭВМ, так и  для микро-ЭВМ, что в конечном счете позволит отказаться от заполнения бумажных бланков наблюдений и перейти  полностью к безбумажной технологии.

     Ввод  статистических данных может осуществляться различными способами (методами):

• при применении электронных форм наблюдения и электронном обмене данными информация от объекта наблюдения поступает сразу в электронном виде;
• оператор вводит информацию с заполненного бланка с одновременным визуальным контролем результатов своих действий на экране компьютера;
• оператор вводит информацию с высокой скоростью, не глядя при этом на экран компьютера (метод слепого ввода);
• ввод с использованием сканеров, обеспечивающих преобразование информации бумажных бланков в электронный вид, пригодный для дальнейшей обработки. Следует отметить, что пока этот способ не получил распространения из-за высокой стоимости оборудования и недостаточно высокого качества программных пакетов для распознавания поступающих от объектов данных на бланках.

     Как правило, первые три способа всегда реализуются прикладным программным  обеспечением, решающим задачи ЭОД. Для  ввода статистических данных на персональных компьютерах используются различные  программы управления базами данных: Access, FoxPro, Clipper и специализированные программы типа Blase. Программы управления базами данных близки по своим возможностям к специализированным Программам ввода, которые применяются для сложных  вопросников, проверка ввода данных по которым требует написания  программ со сложными сценариями и  маршрутами.

     В настоящее время в системе  государственной статистики эксплуатируется  около 600 прикладных программ, обеспечивающих разработку статистической информации. На каждом из этих этапов могут возникать  трудности, обусловленные тем, что  еще не решены многие важные проблемы. Среди них:

• недостаточная унификация прикладных программных средств, реализующих перечисленные технологические этапы, необходимые для решения каждой задачи;
• отсутствие в настоящее время программ электронной обработки данных, позволяющих гибко построить технологию, используя преимущества сети и возможность разделения технологических этапов, выполнения их на отдельных машинах или проведения распределенной обработки;
• существующие программы в основном не ориентированы на формирование баз статистических данных, т.е. на участие экономиста в процессе электронной разработки задачи.

     Это во многом обусловлено старыми подходами, которые были продиктованы использованием ЕС ЭВМ. При внедрении в практику персональных машин, локальных вычислительных сетей и современных методов  решений в процесс электронной  обработки информации, построенной  на основе баз данных, меняется и  подход к организации технологии. Экономист становится непосредственным участником процесса обработки и  соответственно меняет свои требования к электронной обработке и  ее результатам. В настоящее время  экономист, разрабатывая экономическое  описание на задачу, требует как  результат базу данных для дальнейшей работы с информацией.

     Достоверность статистической информации во многом зависит от предоставления экономисту-статистику возможности выполнения аналитической  работы с информацией на основе баз  данных и современных пакетов  программ математико-статистической обработки  и моделирования.

     1.3. Современные методы и средства электронной обработки статистической информации на основе баз данных

     Современные информационные технологии в социально-экономической статистике применяются на всех этапах разработки и проведения статистического наблюдения, включающих: разработку форм статистического наблюдения, формирование плана выборки, сбор и ввод данных, обработку и анализ данных, предоставление информации пользователю. В предыдущем параграфе была дана краткая характеристика современных способов сбора и ввода данных. В данном параграфе подробнее остановимся на современных средствах организации обработки информации и предоставления информации пользователям на основе баз статистических данных.

     Государственной статистикой накоплен большой объем  статистических данных о социально-экономических  процессах в развитии общества. На основе анализа этих данных можно  выявлять явные и скрытые тенденции, строить стратегию дальнейшего  развития, находить новые решения.

     Базы  статистических данных можно классифицировать на два типа, в зависимости от того, что принято за единицу хранения в базе данных:

1. к документографическим относятся базы данных, в которых единицей хранения является документ, например, текст и т.д.;
2. к фактографическим — базы данных, в которых единицей хранения является статистический показатель.

     Процесс формирования и ведения информационного  фонда на основе статистических баз  первого типа менее трудоемок. В  такую базу помещаются, как правило, готовые отчеты со статистическими  данными, текстовые документы. Для  облегчения их использования создается  приложение, обеспечивающее поиск необходимых  форм по контексту, по заданным темам, а также программное приложение для отслеживания выполнения актуализации отчетов, т.е. уточнение и дополнение их новыми данными. Для организации  таких баз данных могут быть использованы широко распространенные программные  пакеты, такие, как Microsoft Excel, Word и др., с аналогичными функциональными  возможностями. В государственной  статистике для организации документографических баз данных используется прикладная программа «БГД». Функциональные возможности данной системы не обеспечивают организацию обработки статистической информации от сбора статистических данных до предоставления информации. Она используется для предоставления статистической информации внешним пользователям.

     Базы  данных второго типа — фактографические, более сложные в проектировании и ведении, но при этом они более  удобны для проведения аналитической  обработки данных. Программное обеспечение  фактографических баз статистических данных может полностью строится на прикладном программном обеспечении. В этом случае программист-разработчик  создает свою систему управления базами данных. Такой подход в ряде случаев имеет преимущества по временным  характеристикам и параметрам использования ресурсов хранения информации. Однако, как правило, нарушается принцип масштабируемости системы, т.е. удобных средств интеграции с другими системами, кроме того, возникает полная зависимость от разработчика СУБД. Использование промышленных СУБД лишено этих недостатков, разработка баз данных в промышленных системах имеет хороший сервис, что позволяет осуществлять разработки достаточно быстро при тщательном предварительном информационном проектировании.

     В настоящее время программное  обеспечение статистических баз  данных в основном строится на унифицированном  подходе, включающем:

• промышленную систему управления базами данных — MS SQL Server;
• прикладное программное обеспечение, реализующее удобный интерфейс проектировщика, администратора и пользователя базы данных. Наиболее применяемым в качестве такого программного обеспечения в настоящее время является инструментальный пакет прикладных программ статистика-экономиста «СТАТЭК».

     На  основе унифицированного подхода к  применению программного обеспечения  построения статистических баз данных, унификации кодирования на базе общероссийских классификаторов создается система  интегрированных информационных ресурсов. В систему интегрированных информационных ресурсов входят следующие базы данных:

• автоматизированный банк классификаторов (АБК);
• база данных «Электронный каталог статистических показателей» (КСП);
• база данных «Генеральная совокупность объектов статистического наблюдения» (ГС);
• центральная база статистических данных (ЦБСД);
• оперативная статистическая база данных;
• отраслевые статистические базы данных;
• проблемно-ориентированные базы статистических данных.

     Базы  данных АБК, ГС и КСП создают основу для интеграции информационных ресурсов и создания унифицированной системы  метаданных.

     Единая  метаинформация содержит рубрикатор входящих в систему баз данных и описания правил организации доступа к  ним пользователей с разграничением их полномочий. При этом каждая физически  отдельно созданная база данных включает две основные составляющие: метаданные данной базы и фонды данных.

     Метаданные  — совокупность информационных массивов, содержащих описание (метаданные) информации, хранящейся в базе данных. Она включает различные справочники и каталоги, задающие технологию организации и  ведения баз данных. Фонд данных содержит количественные значения показателей, помещенных в базу данных.

     Основными компонентами, закладываемыми в основу моделирования структур баз данных в АБД, являются объект статистического  наблюдения и экономический показатель. В качестве объектов наблюдения выступают  как отдельные предприятия, организации, стройки н т.д. — первоначальные источники информации, так и агрегированные объекты, к которым относятся отрасли экономики, территории, министерства и ведомства.