Гонки со спамерами

На днях были опубликованы результаты нового теста антиспам-вендоров, проводимого VB. По итогам августовского теста наш Kaspersky Linux Mail Security 8.0 задетектировал 99,93% всех спамерских сообщений, на которых проводились измерения. Это наш рекорд, которым мы все гордимся и с которым радостно поздравляли друг друга по почте. Про это уже и Касперский в своем блоге написал — он тоже нами гордится=)

Высокий процент детектирований в нашем случае был не в ущерб качеству — ложное срабатывание было всего одно из более чем 10 тысяч писем, составивших коллекцию не-спама, использованную VB в ходе тестирования.

Надо заметить, что, хотя мы и рады небывало высоким результатам, у нас были все причины ожидать их: KLMS 8.0 — это средоточие всех новых фич и технологий, разработанных нашей Лабораторией за последнее время. При этом все эти новые фичи и технологии были направленны на ускорение детектирования спама нашим антиспам-решением.

Дело в том, что около года назад спамеры начали активно применять уже опробованную ранее методику. Стремясь обогнать спам-аналитиков и обновления антиспам-баз, они стали рассылать свои рассылки, состоящие из миллионов сообщений, в очень сжатые сроки — от нескольких минут до получаса. Это приводило к тому, что часть рассылок все-таки успевала попасть в ящики пользователей до того, как, получив обновления, фильтры начинали ‘ловить’ рассылаемые письма. Такие быстрые рассылки и были до последнего времени основной проблемой для антиспам-решений.

Именно на этот ход спамеров ‘Лаборатория Касперского’ и ответила новыми технологиями, вошедшими в состав KLMS.

В начале 2012 года у нас появилась технология принудительного обновления баз антиспама в режиме реального времени. ускоряющая доставку наиболее критичных обновлений в продукт. Мы в спамлабе называем ее Мёбиус, в продукте она называется Enforced Anti-Spam Update Service. В результате использования этой технологии разница между созданием антиспам-записи в спамлабе и доставкой ее в продукт теперь составляет меньше 1 минуты!

Бэкэнд Мёбиус-сервера получает из спамлаба текстовые и графические сигнатуры, как только они добавляются аналитиками в базы. Эти сигнатуры наиболее критичны по сроку доставки, поэтому именно с ними и работает наш новый сервис. Здесь же проводится автоматическое тестирование баз на отсутствие ошибок. Протестированный апдейт отправляется на фронтэнд. Фронтэнд немедленно передает обновление Мёбиус-клиенту в продукт по TCP-соединению, которое постоянно поддерживается между этими двумя компонентами.

Итак, скорость наших обновлений уже практически не уступает скорости спамерских рассылок. Но помните историю про зайца и черепаху? Когда хитрая черепаха, вместо того, чтобы меряться скоростью с заведомо более шустрым зайцем, вызвала свою напарницу, и они поджидали глупого косого в разных концах ‘гоночной трассы’? Мёбиус, конечно, пристроил ‘черепахе’ неплохие двигатели, но еще до Enforced Anti-Spam Update Service появилась идея, реализация которой позволила не носиться за ‘зайцем’, а поджидать его в кустах, а вернее — в облаках.

Эта идея была реализована в UDS (Urgent Detection System) и со временем развилась в UDS 2. UDS 2 — это облачная система безопасности, обеспечивающая двустороннюю связь между пользователями ‘Лаборатории Касперского’ и экспертами компании. Во время обработки спам-сообщения, одновременно с добавлением в базу сигнатуры, с сообщения снимается хэш и отправляется в облако. Раньше мы снимали 16-байтные фаззи-хэш, но с запуском UDS 2 стали снимать 4-байтные шинглы (микро-сигнатуры). Они значительно эффективнее против замусоривания текста, а также против попыток сбить детект простой перестановкой фраз в спамерских сообщениях. Со стороны пользователя по подозрительным письмам тоже строятся шинглы и отправляются в то же облако, где их уже поджидают микро-сигнатуры, снятые в спамлабе со спамерских сообщений. Там происходит сравнение сигнатур, полученных от пользователя, с уже хранящимися в облаке.

Первое поколение UDS на запросы просто отвечало, есть данная сигнатура в базе или нет. UDS 2 группирует сигнатуры в кластеры по их похожести, а основанная на ней технология контентной репутации (Content Reputation) вычисляет для них спам-репутацию. Первая версия этой технологии называется Content Reputation v1 (Rescan) и является, по сути, карантином, тормозящим на некоторое время (сейчас это 50 минут) ту почту, которая сразу не распознается как спам, но которая считается подозрительной, поскольку построенные по ней сигнатуры попали в кластеры с высокой спам-репутацией.

Таких сообщений обычно не так уж много — основная часть почтового траффика либо детектируется как спам, либо относится к доверенным источникам. 50 минут задержки позволяют аналитикам в антиспам-лаборатории принять окончательное решение, являются ли подозрительные сообщения спамом. Таким образом, мы не только ‘подкарауливаем’ рассылку в облаке, но еще и замедляем ее!

Eще одна технология на основе UDS 2 — это автобан. В случае, если сигнатура письма попадает в кластер с высокой спам-репутацией, то она автоматически банится в облаке. В этой технологии предусмотрена пост-проверка аналитиком заблокированного письма и возможность мгновенного отката автоматического бана, если аналитик не посчитает сообщение спамерским.

Так что на новом этапе гонки мы имеем все шансы обогнать соперников!