О некоторых технологиях, реализованных в антиспамовых продуктах компаний Sybari и Sophos

Если до 2002 года о проблеме спама знали только провайдеры почты, то сейчас спам активно «достает» и IT-службы компаний, и простых пользователей электронной почты.

Компания mi2g прогнозирует, что в 2004 году суммы общемирового ущерба как от вирусов (червей и троянов), так и от спама будут равны одной и той же величине 200 млрд. долларов, т.е. совокупный ущерб от вирусов и спама в этом году будет равен 400 млрд. долларов.

Если учесть, что в мире большинство пользователей электронной почты работают на компьютерах с операционной системой семейства Windows (всего таких 600 млн. шт.), то выходит, что на один Windows-компьютер в среднем «падает» совокупный годовой ущерб от вирусов и спама в размере 667 долл. Следовательно, для компании, где используется 100 компьютеров, получаем годовой ущерб около 67 тыс. долларов. Годовая же подписка на антивирусную и антиспамовую защиту для 100 компьютеров стоит на порядок меньше.

Развернувшуюся за эти годы борьбу «спам-антиспам» (точно так же, как и борьбу «вирус-антивирус») характеризует все более возрастающий накал противостояния разных средств защиты и нападения («брони и снаряда»). Спамеры находят все новые и новые уловки для того, чтобы «просочиться» через разнообразные антиспамовые фильтры. Антиспамовые продукты становятся все более комплексными, включающими разные решения и методы.

В рамках комплексного подхода, если какой-то антиспамовый метод пропускает совершенно новую спам-атаку, есть надежда, что ее «засечет» и остановит другой метод. Аналогичная ситуация наблюдается также и в родственной антивирусной области, когда для повышения надежности антивирусной защиты корпоративной сети в целом рекомендуют использовать антивирусы разных производителей на разных уровнях сети.

Так, к примеру, компания Microsoft в документе «Руководство по глубоко эшелонированной антивирусной обороне» (см. [1], стр. 31) советует: «использовать антивирусы разных вендоров для защиты клиентских компьютеров, серверов и периметра корпоративной сети. Так обеспечивается последовательное сканирование файлов разными антивирусными ядрами на разных уровнях инфраструктуры сети, что уменьшает общий риск вирусного заражения, даже если какой-то антивирус и пропустит новый вирус».

Похожую многоядерную антивирусную стратегию реализовала и компания Sybari в своих антивирусных продуктах семейства Antigen для серверов Microsoft Exchange и Lotus Domino, шлюзов Microsoft SMTP Gateways, серверов документов Microsoft SharePoint и др.

В базовую поставку продуктов Antigen всегда входят 4 антивирусных «ядра» («движка») — Sophos (Англия), Computer Associates Vet (Австралия), Norman Data Defence (Швеция) и Computer Associates Inoculate (Израиль). Дополнительно за небольшую плату можно заказать еще 2 «движка» — от Лаборатории Касперского (Россия) и Virus Buster (Венгрия).

Если какой-то вирус «пробивает» защиту одного антивируса, его обязательно «остановит» второй, третий или четвертый антивирус. Для разных ситуаций системный администратор может определить как разное количество движков, так и разные политики их применения.

По данным компании IDC [2] среднее количество ежедневных спамовых сообщений в мировом масштабе выросло с 7 млрд. в 2002 году до 17 млрд. в 2004 году.

IDC прогнозирует, что в 2005 году количество спамовых писем в мире с текстами на языках, отличных от английского, будет больше, чем на английском языке. Так как большая часть спама будет уже «нацелена» на адреса вне Северной Америки.

Отсюда следует важность антиспамовых решений, где есть независимость от того, на каком языке написано письмо. Таким продуктом является Advanced Spam Defence от компании Sybari, антиспамовое «ядро» которого лицензировано у компании Commtouch.

Технологии, реализованные в продуктах
Advanced Spam Defence (ASD) от Sybari

Израильская компания Commtouch создана в 1991 году и уже 13 лет занимается разными аспектами деятельности, связанными с системами предоставления и обработки электронных сообщений. Так, с 1996 по 2002 год она предоставляла хостинг-услуги для многих провайдеров Интернета по всему миру и в какой-то момент времени поддерживала около 40 млн. почтовых ящиков. В 1998 году были начаты разработки технологий борьбы со спамом. В 1999 году компания провела первичную эмиссию акций (NASDAQ: CTCH), а с 2002 года сконцентрировала весь бизнес на разработке технологий борьбы со спамом.

Антиспамовый продукт Advanced Spam Defence (ASD) компании Sybari использует антиспамовую технологию Recurrent Pattern Detection (RPD) от компании Commtouch, которая основана на методах распознавания образов и выявляет спамерские рассылки независимо от языка, кодировки и формата писем, а также независимо и от разных новых спамерских уловок. Автоматическое и в режиме реального времени обновление спамовых сигнатур позволяет блокировать спам-рассылки на первых же минутах их проявления.

Технология RPD сейчас во всем мире защищает более 25 млн. почтовых ящиков. В это число включены почтовые ящики как клиентов компании Sybari, использующие ASD, так и клиенты других компаний, которые лицензировали в своих продуктах технологию RPD.

По данным компаний Sybari и Commtouch массовые спамовые рассылки составляют от 80% до 85% всего объема мирового спама. При этом средний объем массовой спам-атаки — это 80 млн. почтовых сообщений, которые рассылаются в среднем из 1000 разных точек. Средняя продолжительность рассылки — 6-8 часов. Если обнаружить рассылку в первые 2 минуты после ее начала, то удается заблокировать более 99,5 % от всего объема рассылки. Если же обнаружить рассылку через 1 час, то удается заблокировать только 86% от всех писем рассылки, т.е. 14% спам-писем все-таки будут доставлены в почтовые ящики адресатов.

Следовательно, важно обеспечить как можно более ранее обнаружение таких рассылок.

Технология RPD выгодно отличается от других и по этому показателю. Она выявляет массовые рассылки в первые же минуты после их начала. В среднем, через 2 минуты.

Суть этой технологии заключается в следующем. По всему миру в режиме реального времени идет сбор информации о SMTP-трафике глобального Интернета. Эту функцию сбора информации выполняют, в первую очередь, «сенсоры» (или «сниферы»), которые расположены в различных точках Интернета, а также антиспамовые продукты разных производителей, использующие технологию RPD и установленные у клиентов этих компаний. В том числе, и у пользователей антиспамового продукта ASD от компании Sybari. По совершенно понятным причинам сами «изюминки» RPD не раскрываются.

Эти «сенсоры» (агенты) не производят какого-либо тщательного анализа содержания электронного сообщения, а просто делают из него определенную и короткую «выжимку», создавая «цифровую сигнатуру», которая отправляется в «Центр определения спама».

Протокол, который используется для пересылки цифровых сигнатур писем в «Центр определения спама» разработан компанией Commtouch так, чтобы обеспечить высокий уровень защиты от взлома и, тем самым, обеспечить конфиденциальность данных.

Важно отметить, что по цифровой сигнатуре невозможно восстановить содержание письма. Более того, предусмотрена возможность сделать хэш цифровой сигнатуры письма (при помощи функции MD-5) перед тем, как отправить ее в «Центр определения спама».

В «Центре определения спама» присланные сигнатуры писем по алгоритму MD-5 переводятся в 128-битовую «цифровую подпись» или «резюме сообщения» (Message Digest, MD) и классифицируются по нескольким категориям. Это происходит в автоматическом режиме и без какого-либо участия людей, т.е. «Центр определения спама» работает исключительно с «цифровыми подписями».

Эти цифровые сигнатуры и подписи писем, видимо, в какой-то мере похожи на «шинглы» и «супершинглы», которые применяются в Спамообороне [3] от компании Яндекс.

По данным компаний Sybari и Commtouch, каждый день в мире происходит около 800 тыс. массовых рассылок. База данных «Центра определения спама» в каждый момент времени сейчас содержит около 30 млн. «цифровых подписей». Одна массовая рассылка, в общем случае, бывает представлена несколькими подписями. Каждый день в эту базу данных добавляется около 3 млн. новых подписей, и какое-то количество старых подписей при этом удаляется. Обычно какая-то конкретная подпись «живет» в этой базе данных от нескольких часов до 2 недель (пока все еще идет соответствующая рассылка). Общий объем базы данных — 90 Гб, и располагается она на дублируемых дисковых массивах.

В «Центре определения спама» производится анализ всех поступающих подписей со всего мира. Как только находится образец, который повторяется в больших количествах и который соответствует определенным показателям, ему присваивается классификация «массовая рассылка».

Технология RPD умеет различать четыре вида массовых рассылок, которые имеют свои отличительные особенности:

• newsletters;
• вирусы, распространяемые по почте (mailworms);
• законные массовые рассылки (например, direct marketing);
• незаконные массовые рассылки (например, агрессивный или нелегитимный спам).

В итоге «Центр определения спама» по каждой полученной «цифровой подписи» («резюме сообщения») вырабатывает результат-ответ, который относит соответствующее письмо к одной из следующих трех категорий (классификаций): незапрашиваемая рассылка (спам), запрашиваемая законная массовая рассылка (bulk emails) или просто обычное письмо.

Еще одно существенное достоинство технологии RPD — это практически отсутствие ошибок второго рода, когда обычное (законное) сообщение ошибочно признается как спамовое, так как индивидуальные письма обычно не рассылаются десятками и сотнями.

Технология RPD и другие технологии ASD обеспечивают обучение системы на двух уровнях:

• ASD позволяет конечному пользователю при помощи создания правил указать, какие из bulk- (или спам-) сообщений он хочет получать в свой почтовый ящик. Эти правила не имеют влияния на алгоритмы распознавания «Центра определения спама» и обучают только тот экземпляр ASD, который установлен в организации;
• IT-администратор организации может включить или выключить отправку «цифровых сигнатур» писем в «Центр определения спама» при автоматическом создании правил пользователем.

По данным компаний Sybari и Commtouch, уникальные алгоритмы технологии RPD умеют различать массовые рассылки почты и отслеживать повторяющиеся образцы сообщений независимо от таких трюков спамеров, как изменение адресов отправителей писем, изменение тем сообщений, изменение некоторых слов в самих текстах писем и т.д. Зачастую продукты, использующие RPD, в одиночку дают результаты не хуже (иногда даже лучше) тех продуктов, которые используют несколько антиспамовых «двигателей».

Литература

1. «The Antivirus Defense-in-Depth Guide», Microsoft Corp. Published on May 20, 2004.
   http://www.microsoft.com/technet/security/guidance/avdind_0.mspx
2. Mark Levitt, Brian E. Burke, «Choosing the Best Technology to Fight Spam», IDC company, white paper, April 2004.
   http://www.commtouch.com/documents/040429.IDC.Choosing.the.Best.AS.Technology.pdf
3. Илья Сегалович, Дмитрий Тейблюм, Александр Дилевский. «Принципы и технические методы работы с незапрашиваемой корреспонденцией».
   http://company.yandex.ru/articles/spamooborona.html