Информационные системы в экономике

обучение пользователей работе с программой;

настройку системы на обработку интересующих новостных лент, сайтов Интренет, формирование интересующих статистических отчетов;

модификацию системы в соответствии с требованиями ТЗ.

Стоимость указанных услуг зависит от объема работ и уточняется в ходе переговоров.

Система предназначена для сбора, обработки и анализа неструктурированной информации, получаемой из Интернет, печатных материалов, СМИ и других источников.

Система имеет клиент - серверную архитектуру с возможностью публикации на сервере документов, предназначенных для общего пользования, и  форматов новостных лент.

Технологически в системе предусмотрено три разнотипных рабочих места и, соответственно, три типа пользователей системы: администратор, эксперт и пользователь.

Администрирование

Помимо стандартных функций по управлению правами доступа к системе и проведению регламентных работ, на администраторе ИАС Астарта лежат функции публикации на сервере системных реквизитов, общих форматов для новостных лент и рубрикаторов. При создании и корректировке списка пользователей системы, а также установке их прав на работу с ее компонентами, имеется возможность учитывать структуру предприятия, классификатор должностей, а также связи, характерные для взаимодействия между подразделениями. Все эти компоненты формируются и корректируются администратором из интерфейса системы .

Назначение прав доступа предусмотрено как каждому пользователю системы отдельно, так и группе пользователей. В последнем случае всем пользователям группы автоматически устанавливаются права данной группы. При этом если пользователь состоит в нескольких группах, то его права расширяются в соответствии с правами, которые он имеет в каждой группе.

Выделенным пользователем системы является администратор, который не должен иметь прав на выполнение пользовательских функций.

Работа с рубрикатором

Формирование рубрикатора является одним из самых важных шагов при подготовке системы к работе, поскольку именно им определяется тематика, по которой будет разбираться входящая информация.

Система поддерживает работу с иерархическим рубрикатором неограниченной глубины. Рубрикатор может быть создан непосредственно из интерфейса системы или подготовлен заранее в произвольном текстовом редакторе и импортирован в систему. При этом при подготовке текста рубрикатора разрешено использовать произвольные разделители уровней иерархии.

Подбор обучающей выборки производится либо экспертом системы, либо специалистом, выполняющим его функции. Обучающая выборка может состоять как из набора файлов, распределенных по рубрикам, так и из документов, ранее введенных в ИАС Астарта. При этом имеется возможность выбора уровня оценки релевантности принадлежности данной рубрике, установленной при вводе документа в систему. Возможность участия документов системы в формировании обучающей выборки особенно удобна  при построении уточняющей выборки.

Качество работы построенного авторубрикатора системы определяется по результатам автоматического определения тематики поступающей информации. Авторубрикация документов производится на этапе ввода информации в БД. При этом документам присваивается оценка релевантности, характеризующая принадлежность той или иной рубрике (или нескольким рубрикам). Документы, тематика которых не была установлена, относятся к последней по порядку рубрике рубрикатора (например, «Разное»). При неудовлетворительном качестве определения тематики авторубрикатор следует переобучить, уточнив состав обучающей выборки, и перерубрицировать тот же набор документов.

Результат работы программы обучения (набор характеристических терминов) доступен для просмотра и корректировки. Эксперту предоставляется возможность откорректировать вес того или иного термина, добавить новый термин или удалить ненужный.

Подготовленный и обученный рубрикатор публикуется на сервере системы или сразу становится доступен для дальнейшей работы (в случае использования локальной версии системы).

Работа пользователя

Работа пользователя системы начинается с определения списка источников информации, задания расписания работы программы, обрабатывающей интернет-СМИ, и указания списка директорий, в которых будут скапливаться поступающие новостные ленты. Кроме того, необходимо выбрать рубрикатор, с которым будет проводиться работа. В системе разрешена работа с несколькими рубрикаторами, т.е. любой документ может быть прорубрицирован по нескольким рубрикаторам, однако текущим в каждый момент времени должен быть один рубрикатор.

По умолчанию система настроена так, что один документ может одновременно прорубрицирован по нескольким рубрикам, однако существует возможность, и это удобно при составлении статистических отчетов, настроить авторубрицирование по принадлежности документа только одной рубрике.

Ввод документов

Система ввода ИАС Астарта поддерживает автоматический просмотр новостных страниц заранее указанных сайтов с заданной периодичностью и в соответствии с составленным расписанием. Применение системы расписаний позволяет распределить работу по вводу новостей, используя, например, ночное или обеденное время.

Предварительная обработка новостной Интернет-страницы заключается в выделении отдельных новостей из новостного блока и разбора структуры каждой новости, т.е. выделении текстового фрагмента и списка реквизитов, его сопровождающих. Подготовленные таким образом новости передаются системе ввода, в процессе работы которой производится проверка на дублирование информации, а затем авторубрикация ее текста. Повторные документы в систему не вводятся. Вся информация о работе с интернет-СМИ отражается в специальном протоколе.

При обработке новостных лент различных форматов в первую очередь определяется формат данной новостной ленты. Заметим, что в одном потоке могут находиться новостные ленты различных форматов. Затем из новостной ленты выделяются отдельные новости, которые передаются системе ввода. Новостные ленты, формат которых системе не удалось определить автоматически, собираются в заранее описанном месте. В дальнейшем можно вручную указать формат, по которому их следует вводить. Кроме того предусмотрена возможность ввода в ИАС Астарта так называемых «неформатных» документов, т.е. документов, формат которых в системе не описан. Указание, что сейчас будет вводиться поток неформатных документов, производится вручную.

Для обработки бумажных документов в системе имеется возможность запустить программу сканирования и указать в ее интерфейсе место расположения полученных графических образов документов. Последующий ввод таких документов в систему производится вручную, с использованием дополнительной возможности распознавания текста документа «на лету» (drag&recog) при заполнении реквизитов документа. Возможна также автоматическая полнотекстовая индексация графического документа путем «слепого» распознавания всего графического образа и передачи распознанного текста модулю полнотекстовой индексации.

Поиск документов

Разветвленная поисковая система ИАС Астарта обеспечивает возможность составления сложных запросов, поддерживая организацию полнотекстового, контекстного и реквизитного поиска документов, как по локальному, так и по серверному хранилищу данных.

При организации поиска используются методы морфологического анализа, позволяющие находить в тексте документа не только точно указанное слово (или словосочетания), но и все его словоформы. Поиск с учетом морфологии может производиться как по тексту документа, так и по его реквизитам.

Интерфейс системы позволяет формировать запросы с использованием логических операций И, ИЛИ, НЕ, обеспечивая тем самым возможность указания более точного условия на поиск информации.

В поисковой системе имеется ряд инструментов, позволяющих упростить работу по формированию запроса на поиск документов:

наличие словарей при реквизитах системы позволяет упростить выбор необходимого значения;

возможность указания даты на «естественном» языке;

формирование запроса по результатам поиска;

хранение предопределенных запросов.

Формирование дайджестов

Формирование сводных отчетов (дайджестов), сгруппированных по различным информационным срезам, является неотъемлемой частью функциональных возможностей системы. Для реализации этой возможности в ИАС Астарта имеется компонента, позволяющая создавать различные шаблоны представления информации в отчетах, в которых задаются стили и структура всех составных частей отчета, и указывается способ сортировки документов. Имеющиеся настройки позволяют составить дайджест только по аннотации документов или сформировать полнотекстовый дайджест. При больших объемах информации можно сформировать многотомный документ или же, наоборот, сформировать только оглавление для него.

По умолчанию итоговый документ формируется в формате Word, однако имеется возможность выбрать другой формат представления данных на этапе заполнения шаблона.

Построение статистических сводок

Основной задачей статистического анализа является определение тенденции развития исследуемой проблемы. Наиболее наглядными, с точки зрения представления результатов, являются временной ряд, показывающий развитие исследуемой величины с течением времени, и диаграмма, показывающая долю исследуемой величины относительно других величин. Если для решения задач прогнозирования требуется применение различных статистических пакетов, использующих специальные алгоритмы, например, алгоритм авторегрессии и интегрального скользящего среднего АРИСС – ARIMA, то качественную оценку, полученную на основании построенных временных рядов, можно получить с помощью стандартного пакета Excel.

В ИАС Астарта реализовано оба способа построения различных статистических сводок: с использованием возможностей пакета Statistica 5.5 и стандартного пакета Excel. При экспорте в Excel из интерфейса ИАС Астарта можно указать вид представления информации: график, круговая диаграмма или таблица.

Заключение

Использование описанной технологии обработки и анализа информации, поступающей из разнородных источников, в ИАС Астарта, показало, что кардинально изменяется взгляд на возможность «охвата невозможного». Возможность охватить все доступные источники информации и вести их обработку в круглосуточном режиме с автоматической группировкой по тематическим признакам позволяет свести до минимума вероятность пропустить необходимую информацию. При этом автоматическая фильтрация потоков позволяет оперативно получать интегральную информационную картину, а для детального изучения поступающей информации может использоваться мощный поисковый механизм с построением сложных запросов.

В работе информационных и аналитических служб предприятий приходится сталкиваться с большим разнообразием источников информации. Это и бумажные периодические издания, электронные газеты, другие Интернет-ресурсы, электронная почта, передача новостных потоков по IP и т.п. Опыт внедрения ИАС Астарта» в различных организациях показал высокую эффективность и простоту адаптации системы к «местным» условиям, благодаря разработанному универсальному инструменту автоматизированной загрузки больших разнородных по структуре потоков текстовой информации. Универсальный разборщик форматов позволяет полностью автоматизировать ввод электронных информационных потоков из гетерогенных источников с приведением информации к единому внутреннему представлению, а так же свести к минимуму рутинную работу по вводу нерегулярных текстовых данных, таких как ввод текстов с бумажных носителей (распознавание статей из печатных СМИ). Встроенная система автоматического слежения за публикацией «свежих» новостей на информационных сайтах в Internet позволяет автоматизировать и эту часть деятельности информационных и аналитических служб предприятий.

Важным обстоятельством является гибкость предложенной технологии авторубрикации (тематической фильтрации). Построение списка рубрик и обучение системы может производиться экспертом – специалистом информационно-аналитической службы конкретного предприятия для нужд специализированного информационно-аналитического обслуживания. Диапазоны достоверных оценок релевантности документов заданным рубрикам также должны являться доступным параметром для использования экспертом в качестве инструмента анализа или самообучения системы на свежих данных.

Аналитический блок служит для автоматизации процесса подготовки отчетов и дайджестов, а так же позволяет аналитику отслеживать и осуществлять прогноз отражения в публичном информационном пространстве (СМИ, Интернет) различных тенденции развития конкретной предметной области.

Перечисленные выше функциональные возможности и особенности реализации позволяют сделать следующие выводы:

кардинально изменяется качество обработки больших потоков текстовой информации;

автоматический мониторинг может вестись в круглосуточном режиме;

снижается до минимума вероятность пропустить важную информацию;

автоматизированный рубрикатор, настраиваемый и обучаемый экспертом, легко адаптирует систему к решению задач в любой организации;

мощная система поиска минимизирует временные затраты на изучение архивов;

статистическая обработка данных и модуль генерирования отчетов позволяют решать аналитические задачи любого уровня сложности.

Список литературы

1.             Громов Г.Р. Очерки информационной технологии. - М.: ИнфоАрт, 2002.

2.             Информационная технология, экономика, культура / Сб. обзоров и рефератов. - М.: ИНИОН РАН, 2005.

3.             Информационные системы в экономике / Под ред. В.В. Дика. - М.: Финансы и статистика, 2003

4.             Банк В.Р., Зверев В.С. Автоматизированные информационные технологии в экономике: Учеб./АГТУ.-Астрахань: Изд-во АГТУ, 2000.-260 с.

5.             http://it2b-pro.ru/?z=3&n=4&id=1

17