Основы технологий текстового поиска

    Дублинское  ядро (Dublin Core — DC) — это набор элементов  метаданных, смысл которых описан вербально и зафиксирован в спецификации определяющего его стандарта

    Текущая версия спецификаций Дублинского ядра DC 1.1 была принята в качестве стандарта DCMI в 1999 г. Она включает 15 элементов метаданных. К ним относятся:

    • Title (название ресурса);

    • Creator (лицо, организация или служба, ответственные за подготовку содержания ресурса);

    • Subject (тема, обсуждаемая в содержании ресурса);

    • Description (описание содержания ресурса  в свободной форме);

    • Publisher (лицо, организация или служба, обеспечивающие доступ к ресурсу);

    • Contributor (другие участники подготовки содержания ресурса помимо указанного в Creator)',

    • Date (дата создания или предоставления доступа к ресурсу);

    • Туре (жанр, категория или другие характеристики природы ресурса);

    • Format (характер представления ресурса);

    • Identifier (точная ссылка на ресурс);

    • Source (ссылка на источник, из которого продуцирован данный ресурс);

    • Language (язык представления ресурса);

    • Relation (ссылка на ресурс, связанный с  данным);

    • Coverage (область пространства, времени  и т.д., к которой относится  содержание ресурса);

    • Rights (права интеллектуальной собственности на ресурс и т.п.).

    Квалификаторы — это уточнители семантики элементов  метаданных Дублинского ядра и их значений в различных конкретных случаях их применения. Если квалификатор, указанный для некоторого элемента метаданных Дублинского ядра, оказался неизвестным для приложения Веб, то он должен игнорироваться.

    Принятый DMCI в 2000 г. набор квалификаторов включает квалификаторы двух категорий: квалификаторы, которые уточняют семантику элементов метаданных ядра, и квалификаторы, определяющие способ кодирования значений его элементов, что позволяет адекватным образом их интерпретировать.

    В настоящее время ведется работа по уточнению как приведенного состава  набора элементов метаданных, так и их квалификаторов. На основе спецификаций DC 1.1 в 2001 г. был принят национальный американский стандарт ANSI/NISO Z39.85-2001.

    В любом случае ассоциированные с  документом атрибуты, идентифицирующие документ и/или характеризующие  его содержание, называются его индексирующими свойствами. На основе индексирующих свойств документов в системе текстового поиска строится вспомогательная структура данных, позволяющая по их значениям или по значениям некоторой функции, использующей их в качестве аргументов, эффективным образом (без полного просмотра содержания документов и без полного их перебора) обнаруживать в системных коллекциях документ или документы, которым эти атрибуты соответствуют, и при необходимости осуществлять быстрый доступ к этим документам. Такая вспомогательная структура данных называется индексом, а процесс назначения документу указанных атрибутов — индексированием документа.

    ИПС, в которых используется рассматриваемый  подход, называются дескрипторными системами. Такие системы используются до настоящего времени. Индексирование документа в них сводится к назначению для него совокупности дескрипторов.

    Индексирование  документов в системах текстового поиска может осуществляться на основе их названий, аннотаций или полного  текста.

    Критерии  релевантности документов. В процессе обработки пользовательского запроса системе необходимо оценивать релевантность очередного рассматриваемого документа. Для решений этого вопроса его представление должно сопоставляться по некоторому критерию релевантности (критерию близости) с представлением запроса.

    Вид критерия близости зависит от подхода, используемого в системе для  формирования представлений документов и запросов. В дескрипторных системах обычно используются теоретико-множественные  критерии. Другие варианты критерия — указанные множества дескрипторов равны или их пересечение не пусто. В продвинутых системах текстового поиска используются более сложные критерии близости.

    Общие принципы текстового поиска. Современные  системы текстового поиска используют довольно широкий спектр подходов к представлению и индексированию хранимых документов, к представлению пользовательских запросов, к оценке релевантности документов. Однако как в простых, так и в продвинутых системах используются некоторые общие принципы организации поиска. Эти общие принципы заключаются в следующем.

    При вводе документа в систему  осуществляется индексирование документа  и строится его представление, которое  будет далее выступать заместителем этого документа в процессе функционирования системы при обработке пользовательских запросов. Поскольку представление документа в достаточной мере формализовано, исключается необходимость анализа его полного текста каждый раз при обработке запросов. Представление документа остается неизменным в течение всего периода существования документа в системе, поскольку содержание документа не изменяется.

    Далее, на основе индексирующих свойств  конкретных документов, полученных извне  системы или выявленных самой  системой путем анализа содержания документов, система формирует и  поддерживает индекс для каждой коллекции хранимых в ней документов.

    При поступлении в систему пользовательского  запроса для него также строится соответствующее представление. Метод  его построения аналогичен используемому  для построения представлений документов.

    Наконец, собственно поиск заключается в  том, что каким-либо эффективным  образом (не прямым перебором, а обычно с помощью рационально организованного  индекса документов коллекции) осуществляется сопоставление представления запроса  с представлениями хранимых в системе документов по принятому и системе критерию близости. В некоторых случаях для этих цепей вводится специальная метрика. Результаты обработки запросов представляются в виде множества найденных релевантных документов (результирующего множества документов). 

    3. Средства лингвистической поддержки 

    При обработке полнотекстовых документов в системах текстового поиска приходится иметь дело со средствами обработки  естественного языка

    Средства  обработки естественного языка  в системах текстового поиска позволяют выделять из анализируемых текстовых документов и пользовательских запросов термы (слова, словосочетания или фразы) — носители их содержания, выявлять зависимости между этими термами, принимать во внимание их концептуальные связи в контексте данной предметной области, строить на этой основе представления документов, трансформировать поисковые запросы пользователей в удобную для реализации поиска форму, осуществлять расширение запросов для повышения полноты поиска.

    Для выполнения указанных функций в большинстве систем рассматриваемого класса используются комплексы средств лингвистической поддержки.

    Системные словари. В системах текстового поиска, имеющих дело с обработкой естественного  языка, могут поддерживаться словари  общеязыковой лексики и лексики предметной области. Такие словари служат для морфологического анализа текста, для обеспечения отождествления слов в различных грамматических формах в процессе поиска, а также для построения некоторых видов представлений документов и запросов.

    Тезаурусы. Важную роль в анализе и формировании формализованного представления текстовых документов играют специальные словари, называемые тезаурусами. Тезаурус — это словарь основных понятий языка, обозначаемых отдельными словами или словосочетаниями, с определенными семантическими связями между ними.

    Тезаурус  может быть общеязыковым (например, тезаурус русского языка) или ориентированным  на какую-либо предметную область

    В настоящее время применяются  два способа создания тезаурусов — ручной и автоматический. Тезаурус, созданный вручную, может быть универсальным, независимым от конкретной коллекции документов. На практике часто используют автоматическое создание тезаурусов.

    В системах, использующих тезаурус, он позволяет, например, при поиске по ключевым словам расширять запрос, включая в него синонимы первоначально заданных пользователем ключевых слов и обеспечивая тем самым более полный поиск. Могут быть отождествлены синонимы в документе и в запросе. Тезаурусы также часто используются в процессе ручного или автоматического индексирования документов.

    Онтологии. Для адекватной интерпретации пользователем  и/или системой содержания текстовых  документов и поисковых запросов, представленных на естественном языке, система должна располагать контекстом, который определяет основные понятия предметной области и различного рода семантические связи между ними. Это описание не зависит от содержащихся в системных коллекциях конкретных документов и представляет собой спецификацию концептуализации предметной области системы. Выраженная явным образом такая спецификация называется онтологией предметной области.

    Онтология предметной области может поддерживаться в системе с различной степенью формализованности. В простейшем случае она представляется в виде некоторого вербального описания. В более сложном случае онтология представляется в формализованном виде на языках представления знаний, допускающих логический вывод. Такие системы называют интеллектуальными.

    Другой  неформальный способ описания онтологии, который довольно широко применяется в системах текстового поиска, — это представление ее в форме тезауруса предметной области системы.

    Для формального описания онтологии  в развитых системах используются языки  логики первого порядка. Они допускают  возможности логического вывода.

    Одной из последних разработок, посвященных созданию средств формального описания онтологии, является стандарт языка определения онтологии для информационных ресурсов Веб — Web Ontology Language.  

    4. Модели поиска 

    Наиболее  развитые технологии текстового поиска обеспечиваются в настоящее время полнотекстовыми системами. Как уже было показано, существуют различные подходы к построению таких систем.

    Понятие модели поиска. Ключевым понятием, характеризующим  технологию поиска в той или иной конкретной системе, является модель поиска. Под моделью поиска понимается сочетание: способа формирования представлений документов; способа формирования представлений поисковых запросов; вида критерия релевантности документов.

    Разнообразие  функциональных возможностей различных  систем текстового поиска связано именно с различием реализованных в них моделей поиска.

    Простейшие  модели поиска. К их числу относятся, модели поиска дескрипторных ИПС  и систем, использующих Дублинское ядро.

    Другим  примером простейших моделей поиска являются модели, основанные на классификаторах. В модели, основанной на классификаторе, документы представляются идентификаторами классов в иерархической структуре классификатора, к которым относится данный документ. Критерием релевантности документа является условие, что класс документа совпадает с каким-либо классом в представлении запроса или является его подклассом.

    В более сложном случае в моделях  поиска, основанных на классификаторе, допускается указание в запросе  нескольких классов классификатора. При этом релевантными считаются документы, принадлежащие какому-либо из указанных в запросе классов или его подклассу. Такая модель поиска близка к рассматриваемой далее булевской модели.

    Модели  контекстного поиска. В моделях контекстного поиска используется представление документа как совокупности всевозможных встречающихся в его тексте слов и словосочетаний, не считая так называемых стоп-слов. Стоп-слова — это служебные слова (предлоги, союзы и т.п.), которые встречаются практически в любом документе. Поиск документов, содержащих такие слова, привел бы к выдаче полной коллекции документов в ответ на запрос. Поэтому такие слова не могут использоваться в качестве индексирующих свойств документов.