Спам и борьба с ним

• “Анонимная”  означает автоматическую рассылку со скрытым или фальсифицированным обратным адресом.

• “Безадресная”  – отсутствие указания на конкретного человека (обращения) в тексте

письма.

• “Массовая” – рассылки с одинаковым (либо сходным) содержимым, направляемые

одновременно  на несколько десятков тысяч (и более) адресов.

• “Незапрошенная” – рассылки, которые навязываются пользователю вне зависимости

от того, хочет ли он получать данную корреспонденцию или нет (подписные рассылки

и конференции  не подпадают под данное определение).

Однако необходимо отметить, что нас в первую очередь должно интересовать не столь_

ко определение понятия “спам”, сколько выявление признаков спама, которые позволяют

применять технические  средства фильтрации для его эффективного выделения из почтового потока.

Признаки  спама

Признаки, которые  позволяют отнести то или иное письмо к категории “спам”, условно можно разделить на две группы – формальные и лингвистические. Формальные признаки включают в себя:

1. Почтовые адреса, IP_адреса (это позволяет обеспечить фильтрацию по спискам).

2. Отсутствие  адреса отправителя.

3. Отсутствие  адреса получателя или наоборот наличие большого количества получателей.

4. Отсутствие IP_адреса в системе интернет адресов DNS.

5. Определенный размер и формат сообщения.

6. Путь доставки  электронной почты и т.п. 

Лингвистические признаки включают в  себя

(распознавание  спама по содержанию  письма):

1. Слова и  фразы, построенные определенным образом.

2. Эвристические  признаки.

3. Статистические  признаки.

Если рассматривать  данную проблему с технической точки зрения, то к признакам спама также можно отнести:

• одновременную рассылку по множеству адресов или неоднократное направление сообщения по одному адресу (что позволяет сделать вывод о массовой рассылке и применить фильтрацию по данному признаку);

• наличие текстового сообщения (как бы спамеры не маскировали  спам, текст и адрес

электронного письма всегда будут настоящими, что позволяет осуществлять контекстную фильтрацию почтовых сообщений);

• спам_сообщение должно быть легко читаемым для получателя. Другими словами, оно не может быть зашифровано, основной объем информации должен быть передан адресату в составе сообщения. Количество случайных последовательностей (“мусора”), видимых пользователем, должно быть небольшим. При нарушении этих правил снижается читаемость, а следовательно, и отклик на рекламу;

• безадресность текстового сообщения (наличие обращения к конкретному сотруднику

компании в теле письма позволяет сделать однозначный вывод о том, что письмо не относится к массовой рассылке);

• наличие признаков  подделки адресов (что позволяет применить, так называемую,

функцию anti_spoofing). Кроме того, необходимо выделить некоторые признаки, при наличии которых невозможно однозначно определить, является ли данное сообщение спамом, однако в совокупности с вышеназванными техническими признаками, они

помогают убедиться в том, что письмо действительно относится к категории “спам”. В первую очередь, это размер спам_сообщений, который в большинстве случаев не превышает 10 килобайт. Кроме того, спам_сообщения имеют простую структуру. Вряд ли письма размером в несколько десятков килобайт со сложной структурой, в состав которых входят различные вложения и другие объекты, могут относиться к спаму.

Технологические особенности распространения спама.

Развитие технологий рассылки спама привело к тому, что на сегодняшний день спам_почта имеет ряд технологических особенностей, важных для рассматриваемой далее темы:

• Распределенность. Существенная доля спам_сообщений рассылается через оборудование, установленное у конечных пользователей (будь то отдельные частные пользователи или целые локальные вычислительные сети). Используются как проблемы в

программном обеспечении, так и вредоносные “троянские” программы, которые пользователь получает вместе с вирусами либо по файлообменным сетям. Как правило, отдельный пользовательский компьютер применяется для рассылки небольшой доли сообщений, при этом в рассылке участвуют сотни и тысячи пользовательских машин.

Кроме того, крупные  спамеры применяют при рассылке спама сквозной мониторинг

доставки сообщений, в результате которого письмо, отвергнутое при попытке доставки

с одного IP_адреса, будет отправлено заново с другого IP. Это делает запрет на получение

почты (reject) по RBL_спискам неэффективным – попытки доставки сообщения повторятся с других IP_адресов.

• “Мимикрия” под легальные письма. Спамеры делают техническую информацию в

рассылаемых письмах максимально похожей на легальную переписку. В результате

большая часть  спама легко проходит через формальные фильтры.

• Уникальность. Большая доля спам_сообщений уникальна. Другими словами, в письмо

вносятся случайные  последовательности символов (часто невидимые для читателя),

персональные  обращения, анекдоты, большие куски связного текста и тому подобное.

Технические способы борьбы со спамом.

Фильтрация спама  осуществляется исходя из вышеперечисленных признаков и особенностей электронных писем. Она производится автоматически с помощью специализированных технических средств. Как правило, это программные средства, которые выделяют спам из общего потока сообщений и обеспечивают определенные действия над ним (блокировку, архивирование, дополнительную обработку и т.п.). В

настоящее время существует множество различных технических средств борьбы со спамом.

Они различаются  по технологиям, которые они применяют для выделения спама. Применение той или иной технологии фильтрации спама зависит от разных факторов, однако определяющим является то, в каком месте сети применяются анти_спам фильтры. Исходя из наиболее общих подходов, можно выделить три места расположения таких фильтров:

1. Фильтрация  на стороне провайдера.

2. Фильтрация  на корпоративном сервере.

3. Фильтрация на стороне клиента.

Фильтрация спама  на стороне провайдера

Стремительно  возрастающее количество спама вынуждает крупные интернет_сервисы Рунета внедрять новые технологии фильтрации почты. Усиливается борьба со спамом на Hotmail, Yahoo! и MSN, которые внедряют новые технологии фильтрации. В Рунете запущен бесплатный фильтр спама Spamtest.ru, на крупнейшем российском почтовом сервисе Mail.ru внедрен “Антиспам Касперского”, Yandex объявил о запуске собственного сервиса “Спамооборона”, почтовый сервис портала KM.RU внедрил защиту от спама “Карантин”, компании E_Style ISP”, “Петерлинк” установили “Антиспам Касперского”, “Корбина Телеком” объявила о внедрении собственного фильтра спама, построенного на бесплатном программном обеспечении SpamAssassin.

Провайдеры могут  фильтровать спам для клиентов, которые держат у них свои почтовые

ящики. Обычно это  домашние пользователи, использующие доступ по телефонной линии, либо пользователи выделенных линий. Среди них также есть некоторое количество корпоративных пользователей. Это характерно только для компаний, у которых не создана собственная почтовая система, и они держат почту исключительно у провайдера. В некоторых случаях это достаточно удобно и не требует больших затрат.

Однако для  компаний, у которых создана своя почтовая система, такой способ фильтрации не применим по следующим причинам:

• Конфиденциальность электронной почты. Эффективная фильтрация почты требует

как минимум контроля текстовой составляющей письма, а это означает, что провайдер

будет осведомлен о содержании электронной переписки компании.

• Невозможность построения гибкой политики использования электронной почты. Компании, как правило, имеют сложную структуру, в которой различные группы пользователей могут получать определенные категории писем. При этом одно и то же письмо может относиться одновременно к нескольким категориям (письмо может быть спамом для одной категории пользователей и деловым письмом для другой, к примеру,

рекламное письмо о выставке профильной продукции для отдела маркетинга будет деловым, а для отдела информационных технологий – спамом).

• Методы и технологии фильтрации на стороне провайдера не применимы для корпоративного пользователя.

Если с первыми двумя причинами все предельно ясно, то последняя причина требует некоторого пояснения. Для фильтрации спама провайдеры используют следующие методы фильтрации спама:

• С использованием RBL_сервисов (по почтовым адресам).

• Распределенные методы обнаружения спама.

Каждый из способов имеет свои преимущества и недостатки. Попробуем показать, почему эти методы неприменимы для корпоративного пользователя.

Фильтрация  спама с использованием сервисов RBL

Фильтрация по RBL_спискам является наиболее стандартным и легко реализуемым методом обнаружения спама, и с учетом этих обстоятельств этот метод в настоящий момент доминирует среди провайдеров. Сервисы RBL (Realtime Blackhole List) были первым эффективным средством борьбы со спамом. Эти сервисы устроены одинаково – имеются списки почтовых адресов известных спамеров, адресов открытых почтовых пересылок (open relay), используемых спамерами эпизодически или регулярно, и списки диапазонов адресов тех сетей, которые не борются со спамерами или слишком к ним либеральны. Доступ к данным спискам осуществляется в реальном времени по протоколу DNS.

Почтовые серверы, использующие RBL, в момент приема очередного сообщения запрашивают сервис (или несколько RBL_сервисов) о том, является ли почтовый адрес отправителя письма “плохим”, и на основании ответа RBL либо принимают, либо отвергают письмо. Простота идеи имеет и очевидный недостаток – сообщение принимается или отвергается только на основании адреса посылающей стороны (пользователя или другого почтового сервера). В результате, если какой_то почтовый сервер попал в RBL_список, то вся почта (как спам, так и “не спам”) с этого сервера уже приниматься не будет. А это не всегда “плохие” серверы. В эти списки могут быть по ошибке внесены и “хорошие” серверы, например, дружественных Вам провайдеров.

RBL_сервисы в  настоящее время широко используются интернет_провайдерами, почтовыми службами и организациями. Во многих случаях качество RBL оценивается по единственному параметру – количеству спама, который проходит через почтовый сервер. Если количество спама удается уменьшить, данный RBL_сервис считается “хорошим”. В то же время есть и другая, не менее важная характеристика – сколько “нормальных” писем не попало к получателям. Здесь речь идет о проблеме ложных срабатываний. Ложным срабатыванием (False Positive) принято считать тот случай, когда “нормальное” письмо (которое получатель не посчитал бы спамом) до получателя не дошло. Сам получатель об этом обычно не узнает, либо узнает по другим каналам связи (“я тебе писал” – “а я ничего не получил”), поэтому проблема во многих случаях остается незамеченной.

В результате проведенных  исследований в сети Рунета было установлено, что процент ложных срабатываний при фильтрации спама с использованием RBL_списков в среднем составляет 2,1%*. Другими словами, среднестатистический пользователь (который активно использует электронную почту в бизнес_процессах) поте_

рял бы каждое 40_60_е письмо, что приблизительно составляет одно_два важных письма в день. При этом анти_спам средства, использующие RBL_списки, способны отфильтровывать не более 30_40% спама. А это говорит о том, что этот метод фильтрации в настоящее время не является эффективным средством борьбы со спамом.

Однако практика показала, что несмотря на отмеченные недостатки, метод фильтрации

спама с использование RBL_списков обязательно должен применяться. Да, он один не в состоянии решить проблему, но применение его в комплексе с другими решениями, обеспечивающими блокировку спама, дает положительные результаты. Как правило, проверка IP_адреса по RBL_спискам проводится на начальном этапе фильтрации спама и позволяет отсечь почту (20_30%), относящуюся к стопроцентному спаму.