Информационно-поисковые технологии и системы

Отличие каталогов от поисковых систем заключается в том, что каталоги не посылают никаких роботов, чтобы индексировать вашу страницу или веб-сайт. Наиболее известным каталогом является Yahoo.com. Для регистрации в каталоге вам необходимо найти раздел, в который вы хотите поместить свою страницу, послать краткое описание сайта и список ключевых слов для поиска вашей страницы в каталоге. Затем эта информация просматривается и оценивается людьми, которые решают, стоит ли включать ваш информацию в каталог или нет. Поисковые системы используют для индексирования сайтов так называемых "поисковых роботов", спайдеров (от английского слова "spider", что значит "паук"). Робот - это небольшая программа, которая ходит по ссылкам на сайте и индексирует (собирает и запоминает) встреченную на пути информацию.

Принцип работы поисковых роботов приблизительно следующий: вы предоставляете поисковой системе точный адрес страницы, которую нужно зарегистрировать. Поисковая система проверяет, существует ли по этому адресу страница, и если да, то страничка вносится в "график посещения". Между временем, когда вы зарегистрировали страницу в поисковой системе и временем, когда вашу страничку посетит поисковый робот может пройти от нескольких минут до нескольких недель. Так что не спешите сразу же проверять наличие вашей страницы или сайта в поисковой системе.

Метапоисковая система. Обратите внимание на то, что различные поисковые системы описывают разное количество источников информации в Интернет. Поэтому нельзя ограничиваться поиском только в одной из указанных поисковых системах. Теперь познакомимся с инструментами поиска, которые не формируют собственный индекс, но умеют использовать возможности других поисковых систем. Это метапоисковые системы (поисковые службы) - системы, способные послать запросы пользователя одновременно нескольким поисковым серверам, затем объединить полученные результаты и представить их пользователю в виде документа со ссылками.

Преимущества мета поиска. Лучшие стороны многих ведущих поисковых систем. Базы данных традиционных поисковиков. Мета поиск может сделать сайт более заметным для пользователей. Его преимущество - в том, что в рамках одного поиска используются лучшие стороны многих ведущих поисковых систем, таких, к примеру, как Google, Yahoo! и AllTheWeb. Вы не сможете включить ваш сайт в индекс мета поисковых систем: у них просто нет своих баз данных. Вам нужно сперва правильно зарегистрироваться в обычных поисковых системах, а мета поисковики используют их результаты поиска при обработке своих запросов.

До недавнего времени каждая отдельная традиционная поисковая система индексировала несравненно меньший объем данных, чем тот, который учитывался при осуществлении мета поиска. Сейчас, с появлением поисковиков с (глубокой индексацией Web; Google, AllTheWeb и других), ситуация постепенно меняется.

Но все же используя мета поисковые системы вы существенно расширяете зону поиска, так как они опрашивают множество баз данных.

Большинство поисковых систем перешло  на четырехэтапную структуру работы. Первые три этапа почти для  всех поисковых систем одинаковы. Сначала  поисковая система индексирует (собирает) информацию и заносит их в базу данных, потом, с учетом морфологии, разрезает все слова страниц  на составляющие. Если человек обращается к поисковому процессору, то в действие вступает третий и четвертый этапы  работы поисковой системы, она выбирает из базы абсолютно все документы, соответствующие данному запросу, а потом уже выводит их в  зависимости от того, какая страница имеет больший поисковый вес, точность вхождения поисковой фразы, дату обновления и т.д.

Такая выборка, на основе многих параметров, называется ранжированием результатов  поиска. Первые механизмы ранжирования документов строились на основе точности вхождения самого текста в поисковый  запрос. Но это оказалось неактуальным, потому что степень вхождения  поисковой фразы, расположение ее в  теле документа или список ключевых слов не давал полного представления  о документе.

Самый известный класс формул для  вычисления веса документа по отношению  к запросу называется TF*IDF. TF*IDF - численная мера соответствия слова и документа; она тем больше, чем относительно чаще (TF - частота термина в документе) слово встретилось в документе и относительно реже (IDF - редкость слова; величина, обратная частоте слова в коллекции) в коллекции. Именно механизмы ранжирования отличают поисковые системы одну от другой. Сейчас каждая поисковая система старается предложить свои механизмы ранжирования документов, чтобы занять лидирующее положение на поисковом рынке. Во многих поисковых системах на результаты поиска влияет около 200-300 факторов, которые тщательно скрываются от конкурентов. Именно они (совместно со скоростью индексации и объемами указателей) и помогли в свое время Гуглу опередить некогда лидирующую АльтаВисту.

 

Качество результатов поиска мета поисковыми системами напрямую зависит от качества поиска традиционных поисковиков. Но возможности мета поисковиков постоянно расширяются, они становятся более популярными, и, соответственно, будет расти число их пользователей. Согласно исследованию, в октябре 2001 года 23,4 миллиона уникальных посетителей использовали мета поисковые системы при поиске информации в сети.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. Принцип работы поисковых  систем

Поисковая система - веб-сайт, предоставляющий возможность поиска информации в Интернете. Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на серверах, товары в интернет-магазинах, а также информацию в группах новостей.

В большинстве случаев информационная потребность возникает после  изучения какой-либо новой информации, полученной пользователем.

Основатели и разработчики первых поисковых систем воспользовались  методом поиска книг в библиотеках. Они создали тематические каталоги, в категориях которых и располагались  нужные сайты. Человек заходил в  каталог, выбирал нужную рубрику  и получал несколько сайтов по тематике, к ней относящихся. По началу, когда сайтов было не много, все было прекрасно, а потом стало все  сложней и сложней отыскать нужный ресурс. Рубрик становилось все больше и больше, вложенность категорий все росла и росла. В конце концов приходилось проделывать путь в множество подкатегорий, а если в какой-то категории «свернуть» не туда, то можно было просто ничего не найти.

Потом постепенно все поисковые  системы начали переходить на «поисковые указатели». В отличие от каталогов, поисковые указатели формируют  связки «Запрос - ответ», и к «ответам» могли приписываться несколько разных ресурсов. Но впоследствии выяснилось, что это трудно не только для людей, но и для поисковых машин, потому что на любой распространенный запрос «высыпались» сотни тысяч ответов, в которых просто невозможно было разобраться. И именно поэтому возможность выбора поисковиком из этой «горы» информации полезных двадцати-тридцати ссылок и стала определяющей на поисковом рынке.

Как правило, основной частью поисковой  системы является поисковая машина (поисковый движок) - комплекс программ, обеспечивающий функциональность поисковой системы. Основными критериями качества работы поисковой машины являются релевантность (степень соответствия запроса и найденного, то есть уместность результата), полнота базы, учёт морфологии языка. Индексация информации осуществляется специальными поисковыми роботами. В последнее время появился новый тип поисковых движков, основанных на технологии RSS, а также среди XML-данных разного типа.

Поисковые системы обычно состоят  из трех компонентов:

1. агент (паук или кроулер), который перемещается по Сети и собирает информацию;
2. база данных, которая содержит всю информацию, собираемую пауками;
3. поисковый механизм, который люди используют как интерфейс для взаимодействия с базой данных.

2.1 Популярные  и необычные поисковые системы

Популярные  поисковые системы.

Всеязычные:

1. Google (34,4 % Русскоязычного сегмента).
2. Bing (0,9 % Русскоязычного сегмента).
3. Yahoo! (0,2 % Рунета) и принадлежащие этой компании поисковые машины: Inktomi, AltaVista, Alltheweb.

Англоязычные и международные: AskJeeves (механизм Teoma).

Рейтинг российских поисковых систем. Основные поисковые системы:

1. http://www.yandex.ru/ — 54.8267%
2. http://www.rambler.ru/ — 21.7645%
3. http://www.google.com/ — 15.6207%
4. http://www.mail.ru/ — 4.5466%
5. http://www.aport.ru/ — 1.5788%

Необычные поисковые системы. Русскоязычные - большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках - украинском, белорусском, английском и др. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами.

1. Яндекс (46,3 % Рунета)
2. Mail.ru (8,9 % Рунета)
3. Rambler (3,3 % Рунета)
4. Nigma (0,5 % Рунета)
5. Генон (0,1 % Рунета)
6. Gogo.ru (<0,1 % Рунета)
7. Aport (<0,1 % Рунета)

Из перечисленных поисковых  систем не все имеют собственный  поисковый алгоритм - так Mail.ru и QIP.ru используют поисковый механизм Яндекса, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

1. Koogle (с его помощью ортодоксальные иудеи могут найти контент, признанный раввинами удовлетворяющим религиозным требованиям).
2. Yauba (индийский поиск «для параноиков» - в отличие от привычных поисковиков, за пользователями не следят, а все записи о его действиях удаляются с сервера).
3. TinEye - поисковая система, специализирующаяся на поиске изображений в Интернете.
4. Генон - поисковая система, собирающая и создающая контент у себя на сайте.

 

 

2.2 Характеристики поисковых систем

Для того, чтобы правильно оптимизировать страницы, необходимо знать, что любят поисковые системы. В этом разделе приведены данные о каждой поисковой системе в отдельности, а также в общем виде.

Описания и характеристики русскоязычных поисковых систем: Яндекс, Рамблер, Апорт.

Сейчас в Рунете существует три основные поисковые системы, это:

1. Яндекс
2. Рамблер
3. Апорт

В этом списке они расположены их по степени популярности, а не по качеству поиска. Но, проблема качества поиска, это уже тема, требующая отдельного раздела. А здесь же, вы сможете найти описания и характеристики русскоязычных поисковых систем.

Ниже приведем сводную таблицу некоторых характеристик.

1. Яндекс. Появление в индексах после регистрации - 7 дней. Период обновления страницы в индексах - 7 дней. Глубина индексирования - не ограничена. Появление в индексах, не зарегистрированных страниц - около 7 дней. Поддержка фреймов – да. Поддержка ImageMaps - даИндексация закрытых разделов – да. Индексация внешних ссылок – есть. Robots.txt – да. Определение частоты обновления – да. Возможность проверки страницы на наличие в индексах - при попытке регистрации Яндекс проверит наличие сайта в своей базе. Возможность проверки внешних ссылок.
2. Рамблер. Появление в индексах после регистрации - ближайший выходной. Период обновления страницы в индексах - от недели до месяца. Глубина индексирования - не ограничена.Появление в индексах, не зарегистрированных страниц - от недели до месяца. Поддержка фреймов – да. Поддержка ImageMaps – да. Индексация закрытых разделов – да. Индексация внешних ссылок – нет. Robots.txt – да. Определение частоты обновления – нет. Возможность проверки страницы на наличие в индексах. Возможность проверки внешних ссылок – нет.
3. Апорт. Появление в индексах после регистрации - 7 дней. Период обновления страницы в индексах - от недели до месяца. Глубина индексирования - не ограничена. Появление в индексах, не зарегистрированных страниц - от недели до месяца. Поддержка фреймов – да. Поддержка ImageMaps – да. Индексация закрытых разделов – да. Индексация внешних ссылок – есть Robots.txt – да. Определение частоты обновления – да. Возможность проверки страницы на наличие в индексах. Возможность проверки внешних ссылок.

Особенности поисковых систем. В  работе поисковый процесс представлен  четырьмя стадиями: формулировка (происходит до начала поиска); действие (начинающийся поиск); обзор результатов (результат, который пользователь видит после  поиска); и усовершенствование (после  обзора результатов и перед возвращением к поиску с иной формулировкой  той же потребности). Более удобная  нелинейная схема поиска информации состоит из следующих этапов: