Основы технологий текстового поиска

Содержание 

    Введение

    1. Основные понятия

    2. Принципы текстового поиска

    3. Средства лингвистической поддержки

    4. Модели поиска

    Список  литературы 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

    Введение 

    Обмен информацией в обществе осуществляется главным образом в текстовой  форме. Поэтому не случайно, что весьма значительную долю информационных ресурсов современных информационных систем составляет текстовая информация. Разработкам эффективных технологий хранения, обработки и поиска текстовой информации стало уделяться большое внимание уже на ранних стадиях развития информационных систем. Активные исследования и практические разработки в этой области начались еще в 50-х годах прошлого века, с того времени, когда средства вычислительной техники обеспечили возможность ввода-вывода текстовой информации.

    Среди информационных систем, имеющих дело с текстовой информацией, наиболее распространенными являются системы  текстового поиска. Их задача заключается  в том, чтобы находить в хранимой в компьютере коллекции текстовых  документов на естественном языке такие документы, которые интересуют пользователя.

      Первые автоматизированные информационные  системы начали разрабатываться  еще в 50-х годах прошлого  века, и главной их функцией  был именно поиск информации. Поэтому их назвали информационно-поисковыми системами (ИПС). 
 
 
 
 
 
 
 
 
 

    1.    Основные понятия 

    В зависимости от характера поддерживаемых информационных ресурсов информационно-поисковые системы было принято разделять на две категории: фактографические и документальные. Фактографические ИПС оперировали фактами, представленными в виде сущностей реального мира и их свойств, и позволяли находить сущности .

    Документальные  ИПС предназначены для хранения и поиска документов, содержащих тексты на естественных языках. Такие ИПС  и представляют собой ранние системы текстового поиска.

    Разрабатывавшиеся в этот период системы текстового поиска назывались дескрипторными ИПС. В таких системах содержание каждого  текстового документа и пользовательских поисковых запросов описывается  наборами слов или словосочетаний, называемых дескрипторами.

    Одной из наиболее распространенных областей применения дескрипторных систем был  библиографический поиск. В таких  системах хранятся коллекции библиографических  описаний документов, и система позволяет  находить публикации заданного автора, публикации, выпущенные указанным издательством и/или вышедшие в некотором году и т.п.

    В процессе развития средств вычислительной техники компьютеры обрели устройства внешней памяти прямого доступа  достаточно большого объема, значительно  повысилась производительность процессоров. Это позволило создать и практически использовать в документальных ИПС более совершенные технологии, называемые технологиями полнотекстового поиска.

    Благодаря возможности хранения и обработки  в таких системах полных текстов документов удалось в большой мере автоматизировать процессы лингвистического анализа и поиска документов. Были разработаны подходы к автоматизации составления ряда используемых при этом словарей и тезаурусов. В технологиях полнотекстового поиска важное место занимают статистические методы анализа документов.

    В настоящее время перспективные разработки в рассматриваемой области концентрируются вокруг авторитетной международной конференции по текстовому поиску ТRЕС (Техt Retrieval Соnfегеnсе).

    Активное  развитие технологий текстового поиска и информационных потребностей пользователей стимулировали трансформацию ИПС из систем текстового поиска в системы более общего класса, которые имеют дело не только с текстовыми документами, но и с документами, содержащими информацию иной природы. В мультимедийных системах содержание их объектов поиска — документов — составляет сочетание информационных ресурсов, представленных в различных средах, — текстовых элементов, статических изображений, аудиоданных (музыкальные произведения, текст, произнесенный голосом, и т.п.), мультфильмов, видеоклипов и т.п.

    В последние годы наряду с термином информационно-поисковая система (Information Retrieval System) стал употребляться термин система текстового поиска (Техt Search System или Техt Retrieval System).

    Значительное  место в технологиях текстового поиска занимает обработка естественного  языка, т.е. компьютерное решение задач, связанных с пониманием, анализом, выполнением различных операций над текстами на естественном языке, а также с их генерацией. Этот класс задач относят к области искусственного интеллекта.

    В современных технологиях текстового поиска используется статистические методы, математическая логика и теория вероятностей, кластерный анализ, методы искусственного интеллекта, а также технологии управления данными.

    Возникли  такие совершенно новые направления, как обнаружение информации в  глобальной компьютерной сети, текстовый  поиск в Веб, мультиязыковой поиск.

    Ресурсы современных вычислительных систем позволяют хранить огромные объемы информационных ресурсов в системах текстового поиска, осуществлять в них не только технические, но и алгоритмически сложные процедуры обработки хранимых коллекций документов — их классификацию, кластеризацию, глубинный анализ текстов, перевод документов с одного языка на другой и т.д.

    Системы текстового поиска оказали значительное влияние на формирование специфического класса информационных систем, называемых системами управления документами. В таких системах важная роль отводится  не только методам обработки естественного языка, созданным для работы с текстовыми документами, но и организации групповой разработки документов, их хранения, распространения и конечно же технологиям текстового поиска.

    Сформировалась  индустрия коммерческого программного обеспечения для систем текстового поиска.

    Содержательное  разнообразие такой информации на естественных языках довольно велико — это могут быть статьи, опубликованные в газетах и журналах, разнообразные технические руководства, отчеты, книги, диссертации, письма, законодательные акты и пр.

    Основная  единица информации в системах текстового поиска называется документом. Документ — это не юридическая сущность, а содержательно законченная  идентифицируемая уникальным образом  единица информации, представленная на каком-либо естественном языке.

    Полнотекстовые  системы текстового поиска оперируют  электронными документами, т.е. документами, хранимыми в памяти компьютеров  и доступными для автоматизированной обработки. Необходимо иметь документ в оцифрованном виде, т.е. в таком формате, что каждая литера текста этого документа программно-доступна. Представление текстового документа в оцифрованном виде может быть создано, например, с помощью:

    • ввода содержания документа с  клавиатуры с использованием какого-либо текстового редактора;

    • сканирования его с бумажного  носителя и использования программы  распознавания оптических символов (Optikal Character Recognition – OCR);

    • генерации текста программным путем  распознавателями голоса или какими-либо другими способами.

    Совокупность хранимых в системе документов по-разному называется в разных системах (поисковый массив, архив и т.п.). В последнее время для этой цели часто используется термин «коллекция документов». Каждая система текстового поиска, вообще говоря, может поддерживать несколько различных коллекций документов.

    Документы хранятся в системе текстового поиска для того, чтобы удовлетворять  информационные потребности пользователей. Представление информационных потребностей пользователя в форме, воспринимаемой программным обеспечением системы текстового поиска, называется пользовательским запросом (или просто запросом). Необходимым компонентом содержания пользовательского запроса является описание тех свойств, которыми обладают документы, интересующие пользователя. Это описание естественно называть критерием поиска.

    Следует подчеркнуть, что единицей гранулярности  поиска, в большинстве систем текстового поиска является именно документ, а  не какая-либо его порция. Хранящиеся в системе документы, которые  соответствуют пользовательскому запросу, называются релевантными.

    Релевантность документа не обязательно должна оцениваться в терминах двузначной логики («да — нет»). В таких  случаях уместно говорить о степени  релевантности документа, понимая  ее как значение этой функции. Некоторые системы текстового поиска выдают пользователю множества документов, полученных в результате обработки запросов, упорядочивая документы по убыванию степени релевантности. Такое упорядочение найденных документов называют их ранжированием. Пользователь более эффективно может анализировать ранжированное множество результирующих документов запроса. С большой вероятностью наиболее интересующие его документы из числа найденных находятся в начале выводимого списка документов.

    В силу различных причин, связанных, в частности, с трудностями автоматизации понимания естественного языка, а также с неточностью отображения информационных потребностей пользователя в запросе, в результате обработки пользовательского запроса могут быть найдены документы, не соответствующие информационным потребностям пользователя. Такое явление называется информационным шумом.

    2. Принципы текстового поиска 

    Рассмотрим  теперь основные принципы построения современных систем текстового поиска.

    Источники сложности современных систем текстового поиска. В отличие от технологий ранних информационно-поисковых систем развитые современные технологии текстового поиска обеспечивают поиск интересующих пользователя документов на основе их информационного содержания, а не только по наборам дескрипторов или значениям каких-либо атрибутов, ассоциированных с этими документами (год издания, автор, издательство и т.п.). Эти атрибуты, хотя и могут, в частности, быть уникальными идентификаторами документов, но никак не зависят от их содержания.

    Представления документов. Коллекции документов, хранимых в системах текстового поиска, могут быть довольно крупными. Довольно большой объем могут иметь и содержащиеся в документах тексты. Поэтому нереально рассчитывать на то, что система текстового поиска сможет анализировать полные тексты хранимых документов в процессе обработки пользовательских запросов, даже если эта система базируется на очень мощном компьютере. Производительность такой системы была бы не слишком высока.

    Выход из положения заключается в том, чтобы в процессе обработки пользовательского запроса работать не с самими документами, а с некоторыми структурированными представлениями их содержания, которые называют представлениями документов (в некоторых публикациях их называют также представителями документа). Использование представления документа вместо непосредственно самого документа позволяет избежать трудоемкого процесса просмотра и анализа полного его содержания на стадии поиска и вместе с тем использовать преимущества структурированного представления для повышения эффективности поиска.

    В современных системах текстового поиска используются различные подходы  к построению представлений хранимых документов. От характера используемых представлений документов существенно  зависит качество поиска — его  точность, полнота, производительность и другие характеристики. Поскольку введенные в систему текстовые документы остаются, как правило, неизменными на протяжении всего времени их существования в системе, построение представления каждого имеющегося в системе документа можно осуществлять однократно на этапе его ввода в систему.

    Индексирование  документов. Представление документа  обычно конструируется на основе множества  свойств (атрибутов) этого документа. В простых системах текстового поиска эти атрибуты, как уже указывалось, вообще не являются какими-либо компонентами содержания документа. В качестве таких атрибутов могут использоваться какие-либо внешние (по отношению к тексту документа) его характеристики, и совсем не обязательно, чтобы они идентифицировали его уникальным образом. Можно, например, использовать регистрационный номер документа в архиве, дату его регистрации, название организации — получателя документа, указание места его хранения и пр. В качестве таких внешних атрибутов документов могут также использоваться рубрики классификаторов документов или элементы метаданных Дублинского ядра.