Обзор и тестирование системы

В февральском номере журнала КомпьютерПресс (#2, 2007) были опубликованы результаты независимого промышленного тестирования Kaspersky Anti-Spam 3,0 на корпоративном почтовом сервере ОАО Смоленскэнерго. С разрешения редакции журнала мы публикуем статью на нашем сайте.

Введение

С проблемой спама сталкивался любой пользователь Интернет, пользующийся электронной почтой. В корпоративной среде с активным документооборотом спам особенно неприятен – он вклинивается в поток деловой корреспонденции, сотрудники вынуждены тратить рабочее время на фильтрацию почты, и полезные письма нередко теряются среди спама.

Естественно, для борьбы со спамом можно применять персональные фильтры, устанавливаемые на компьютерах пользователей (например, обучаемый фильтр на базе теоремы Байеса), но в корпоративной среде с сотнями рабочих мест наилучшим решением является установка на сервер электронной почты централизованного фильтра. Данная статья посвящена тестированию и описанию возможностей системы Kaspersky Anti-Spam (KAS) версии 3.0, предназначенной для фильтрации спама на уровне почтового сервера.

Условия тестирования и опытной эксплуатации

Система Kaspersky Anti-Spam 3.0 была установлена на основном корпоративном почтовом сервере ОАО Смоленскэнерго. Сервер работает под управлением FreeBSD 4.9, почтовый сервер QMail. Из дополнительных программ на сервер установлен антивирус KAV 5.0.2 для фильтрации писем, содержащих компьютерные вирусы. Специализированных средств фильтрации спама до установки Kaspersky Anti-Spam на сервере не применялось.

Данный почтовый сервер обрабатывает в месяц в среднем 80-100 тысяч писем (2.5 – 3.5 тысячи писем в день), причем порядка 40-60 тысяч писем в месяц составляет деловая переписка. Сервер обслуживает порядка тысячи почтовых ящиков, из которых 250 обслуживается непосредственно сервером, остальные – серверами поддоменов. Аппаратная платформа – Intel Xeon 1.8, 1 ГБ ОЗУ.

Установка

Установка продукта и его настройка заняла не более часа, никаких проблем в процессе установки не возникло. Kaspersky Anti-Spam был установлен непосредственно на почтовый сервер, однако существует возможность его установки на выделенный сервер. В этом случае Kaspersky Anti-Spam может обслуживать запросы от нескольких почтовых серверов (запросы в этом случае передаются по сети).

Единственной особенностью, отмеченной в ходе установки системы, является тот факт, что операционная система на почтовом сервере «Смоленскэнерго» собрана в минимальной конфигурации, без графической оболочки – поэтому запустить браузер после установки Kaspersky Anti-Spam для его настройки невозможно, а Web-интерфейс KAS по умолчанию доступен только непосредственно с сервера, на котором он установлен. Однако эта ситуация описана в документации, и там же указан путь решения – в одном из конфигурационных файлов необходимо задать IP-адрес сетевого интерфейса и номер порта TCP, используемые Web-интерфейсом. Редактирование этого конфигурационного файла было, по сути, единственной операцией, проделанной в ходе установки вручную.

Для почтового сервера QMail схема интеграции имеет вид, показанный на рисунке:

Рис.1. Схема взаимодействия Kaspersky Anti-Spam с почтовым сервером Qmail

Процесс установки подробно описан в документации, а в приложении описан процесс интеграции Kaspersky Anti-Spam с различными почтовыми серверами и тонкости настройки в каждом из случаев. Документация по KAS вызвала весьма положительное впечатление – объем печатной документации составляет 132 страницы формата A4, информация в ней хорошо структурирована.

Устройство Kaspersky Anti-Spam и принцип его работы

Устройство KAS подробно описано в документации, поэтому рассмотрим его на концептуальном уровне.

Рис.2. Архитектура Kaspersky Anti-Spam с почтовым сервером Qmail – диаграмма из документации к KAS

Клиентские модули предназначены для интеграции KAS с почтовым сервером. Сам сервер фильтрации обведен на рисунке пунктиром. Его задачей является прием запросов от клиентских модулей, анализ и вынесение вердикта по каждому из запросов. Сервер фильтрации, в свою очередь, состоит из модуля фильтрации, который собственно и осуществляет проверку писем.

Кроме модуля фильтрации, в составе продукта имеется центр управления, предназначенный для управления продуктом при помощи Web-интерфейса. Модуль обновления данных отвечает за загрузку обновлений. Следует отметить, что KAS, подобно антивирусу, использует обновляемые базы – в данном случае это базы контентной фильтрации. Система мониторинга отвечает за контроль состояния всех компонентов – ее задачей является информирование администратора о неполадках и сбоях в KAS.

Классификация писем и детектирование спама в KAS производится с применением набора различных методик. Основными из них являются:

• Анализ формальных признаков. Метод основан на применении к письму набора правил, которые позволяют классифицировать письмо как спам. В частности, анализу подвергается заголовок письма, его структура, размер и ряд других признаков, в частности IP-адрес почтового сервера, от которого получено письмо, и IP-адреса промежуточных серверов, а также адрес отправителя. Кроме того, этот метод использует списки разрешенных и запрещенных почтовых адресов и IP-адресов, которые создаются и редактируются администратором.
• Контентная фильтрация. Данный метод основан на анализе содержимого письма с применением искусственного интеллекта, методов нечеткой логики и семантического анализа. Исследованию подвергается текст письма и вложения поддерживаемых типов (Plain Text, HTML, RTF, Microsoft Word). Для проведения подобного анализа применяется база данных, наполнение и сопровождение которой осуществляется аналитиками «Лаборатории Касперского». Обновление базы производится автоматически через заданные в настройках интервалы времени при помощи подсистемы автоматического обновления. Важным моментом является то, что, кроме текста письма, анализу подвергаются находящиеся в нем графические изображения, которые все чаще применяются спамерами для обхода антиспам-систем.
• Проверки с помощью внешних сервисов. Проверки данной группы основаны на передаче запроса некоторым внешним сервисам и использовании ответа для классификации письма. В частности, в KAS применяются
  • запросы к сервисам DNSBL (DNS-based black list – списки запрещенных на базе DNS);
  • проверка адреса отправителя по правилам, полученным по SPF (SPF также базируется на стандартном DNS-запросе);
  • проверка найденных URL в теле письма ссылок при помощи сервиса SURLB – сервиса, предназначенного для опознания ссылок на рекламируемые спамерами ресурсы. Применение данной технологии позволяет блокировать письма, содержащие вместо осмысленного текста ссылку на информацию рекламного характера;
• Проверки на базе технологии UDS. Технология UDS (Urgent Detection System) разработана «Лабораторией Касперского» и основана на том, что из подозреваемого на спам письма выделяется набор признаков, достаточный для анализа и идентификации сообщения. Набор признаков имеет небольшой размер и не содержит информации, позволяющей восстановить адресатов или текст письма. Он передается на один из серверов «Лаборатории Касперского» в виде UDS-запроса по протоколу UDP, на сервере «Лаборатории Касперского» признаки подвергаются анализу, и результаты этого анализа передаются в качестве ответа. Применение данной технологии не создает угрозы утечки информации и не порождает существенного трафика, но позволяет детектировать известные спам-рассылки до обновления контентной базы, что позволяет повысить эффективность системы.

В результате анализа письму присваивается один из следующих статусов:

• Spam – письмо с высокой вероятностью является спамом;
• Probable Spam – письмо не может однозначно классифицировать как спам, но в нем обнаружены характерные для спама признаки;
• Formal – письмо является так называемым формальным сообщением, т.е. оно сгенерировано автоматически и содержит некоторое уведомление для пользователя – например, сообщение о невозможности отправки письма или ответ почтового антивируса;
• Trusted – письмо получено из достоверных источников. Список доверенных ведется централизованно администратором;
• Denylisted — письмо получено из источников, значащихся в списке запрещенных. Список запрещенных ведется централизованно администратором;
• Not Detected – письму не присвоен ни один из вышеперечисленных статусов и оно не опознано как спам.

Кроме перечисленных статусов, существует еще один – «Obscene». Он выставляется при помощи отключаемой проверки, которая детектирует наличие в тексте письма нецензурных слов и непристойных фраз.

Реакция на письма с каждым типом статуса настраивается администратором системы. Поддерживаются операции: принять письмо, перенаправить письмо или его копию на заданный адрес, установить в заголовке письма текстовую метку, создать в письме специальный заголовок, удалить письмо или отклонить прием письма. В ходе тестов в «Смоленскэнерго» KAS был настроен на установку маркера в заголовке письма. Например, маркированное спам-письмо имеет заголовок, начинающийся с текста «[!! SPAM]». В результате пользователь получает всю корреспонденцию, но помеченная корреспонденция автоматически отправляется в папку «Спам» почтовой программы. Кроме маркировки письма, в его служебный заголовок помещается ряд специальных полей, значения которых можно применять для анализа или фильтрации почты.

Рис.3. Расширенные заголовки письма, проверенного KAS

Настройка и управление

Все операции по настройке и управлению системой Kaspersky Anti-Spam производятся при помощи Web-интерфейса. Доступ к Web-интерфейсу защищается паролем.

Рис.4. Web-интерфейс Kaspersky Anti-Spam

Элементы Web- интерфейса разбиты на несколько категорий, каждая из которых отображается на отдельной закладке:

• Monitoring – результаты мониторинга системы. На данной закладке отображается информация о состоянии системы в целом, а также протоколы событий «движка» системы и подсистемы автоматического обновления. При просмотре протокола можно установить фильтр для отбора записей с определенным типом событий.
• Statistics – статистическая информация. На данной закладке отображается статистика работы системы. Статистическая информация дублируется в текстовом и графическом виде, причем графики могут строиться по количеству писем различного типа или по их объему. Предусмотрено отображение статистики по дню (с детализацией с шагом в 5 минут), за последние 7 дней (с детализацией с шагом в один час), за последние 30 дней (детализация с шагом в час) и за последние 365 дней (детализация с шагом в один день). В случае необходимости администратор может получить данные в виде таблицы формата HTML или CSV-файла для последующей обработки.

  

  Рис.5.Web-интерфейс – статистика работы Kaspersky Anti-Spam

• Policies – правила, на основании которых осуществляется фильтрация спама;
• Settings– настройки системы;
• License – сведения о лицензии. Отображает данные о текущей лицензии и позволяет установить новый файл с лицензией.

Конфигурирование правил фильтрации спама и реагирование системы на спам производится при помощи закладок «Policies». Рассмотрим их подробнее.

Закладка Policies – правила фильтрации спама

Закладка с настройками правил фильтрации показана на рисунке:

Рис.6. Web-интерфейс – закладка Policies

Правила сгруппированы в несколько категорий:

• General – в данной категории сгруппированы глобальные настройки, позволяющие включить/выключить фильтрацию спама, задать порог срабатывания, включить или выключить проверки при помощи DNS и SPF, SURBL, спискам запрещенных и разрешенных.
• DNS & SPF Checks – настройки фильтрации с использованием DNS-проверок – позволяет включить или отключить контроль IP-адреса по DNS и использование сервисов DNSBL и SPF.
• Headers Checks – настройка правил контроля заголовков. Позволяет управлять такими правилами, как контроль слишком большого количества получателей, наличия в поле FROM смеси цифр и букв, отсутствие доменного имени в адресе, наличие в заголовке письма большого количества символов, точек, динамических фрагментов в виде отметок временили цифровых кодов.
• Eastern Encodings – настройки поддержки восточно-азиатских языков. Содержит правила, позволяющие блокировать письма в китайской, корейской, тайской и японской кодировке.
• Obscene Content – правила обработки писем с нецензурной лексикой. В настройке можно задать игнорирование нецензурной лексики или пометку письма маркером [—Obscene—].

На закладке Policies администратор может задать список защищаемых доменов (допускается указание маски, например «*smolen.ru»), редактировать списки разрешенных и запрещенных.

Важной особенностью системы является возможность создания групп пользователей. Создание групп позволяет администратору выделять определенных пользователей почтового сервера в именованные группы и в дальнейшем применять к этой группе индивидуальные настройки, правила фильтрации спама, списки разрешенных и запрещенных и действия над почтовыми сообщениями различных типов. Кроме созданных администратором групп, предусмотрена группа «All» (существующая по умолчанию после установки системы), в которую попадают все пользователи, не относящиеся к каким либо другим группам. Привязка пользователей к группе производится путем указания их email-адресов в настройке группы. Такими образом, получается, что существуют глобальные правила по умолчанию и индивидуальные правила для каждой из групп, которые могут содержать отклонения от правил по умолчанию.

В опциях каждой из групп есть очень важная настройка – «Actions» — позволяющая задать реагирование системы на письма, распознанные системой фильтрации. Привязка данной настройки к группам очень удобна – для одних пользователей, к примеру, можно настроить маркировку писем в заголовках, для других – автоматическую пересылку в карантин (причем для каждой группы карантин может быть индивидуальным).

Рис.7. Web-интерфейс – закладка Policies, редактирование реакции на письма с различным статусом

Оценка качества работы системы

Информация для оценки качества работы системы собиралась в течение двух месяцев. Тестирование производилось с настройками по умолчанию, без создания списков разрешенных и запрещенных. Единственное отклонение от настройки по умолчанию – в группе параметров «Header Checks» выключено правило «Digits mixed with letters in FROM header», поскольку в Смоленскэнерго для служебной переписки активно применяются адреса вида «13ASU27».

В ходе тестирования рассматривались ошибки двух типов:

• Ошибки первого рода. Письмо является спамом, но не классифицируется системой как спам.
• Ошибки второго рода. Письмо не является спамом, но ошибочно классифицируется системой как спам.

Легко заметить, что ошибки второго рода в антиспам-системах системе гораздо опаснее ошибок первого рода. Опасность подобной ошибки можно снизить при помощи настройки, в частности за счет создания списков разрешенных, перенаправления или маркировки писем вместо их отклонения и удаления. По собственной статистике системы за время тестов 25,8% писем (57850 штук) из всего почтового трафика признаны спамом, 2,9% (5900 штук) – подозрение на спам, 15,6% (31450 штук) – почта класса «Formal», т.е. сообщения почтовых серверов, антивирусов и т.п., 53% (106291 писем) не классифицированы как спам.

Рис. 8. Статистика Kaspersky Anti-Spam

Как видно из диаграммы, в сумме порядка 47% почтового трафика было отфильтровано как спам или неинформативные сообщения. Как отмечалось выше, столь высокий процент полезной корреспонденции в общем трафике (соотношение полезные письма – спам в среднем примерно 1:1) связан с активным документооборотом с использованием электронной почты. Эти средние цифры естественно не совсем точно отражают картину в рамках отдельно взятых почтовых адресов, поскольку на некоторые «засвеченные» в Интернете адреса приходит большое количество спама, а на некоторые адреса спам не приходит вообще.

С точки зрения оценки качества фильтрации за время тестов было установлено, что:

• В среднем детектируется порядка 85-90 процентов спама. Процент среднестатистический, для некоторых видов спама он превышает 95%, а для графического спама с защитой от антиспам-систем — порядка 60-70%. Подобный средний процент является весьма неплохим результатом – на практике пользователи стали получать в среднем максимум 1-2 спам-письма в день вместо 20-30.
• За все время тестов не было зарегистрировано ни одной ошибки второго рода, т.е. случаев ошибочной классификации полезной корреспонденции в качестве спама не отмечалось.

Анализ пропущенных спам-писем позволил выявить следующие тенденции.

Рис.9. Процентный состав пропущенного спама

Как видно из диаграммы, основной процент приходится на графический спам. Типовой «портрет» подобного письма – письмо содержит связанный текст на английском языке (текст может отсутствовать, реже – присутствует русский текст), и картинку. Картинка часто содержит следы агрессивной маскировки от OCR систем (систем опознания текста в изображении, применяемых спам-фильтром для анализа).

19% от недетектированного спама составляют письма, классифицированные автором как «корпоративный спам». Под этим термином подразумеваются рассылки, осуществляемые в подавляющем случае вручную и несущие нежелательную информацию для пользователей корпоративной сети – например, назойливые приглашения на различные конференции и форумы, информация о различных курсах повышения квалификации, реклама от различных фирм, с которыми поддерживаются некие деловые отношения и т.п. Подобные письма невозможно однозначно классифицировать как спам и бороться с ними можно добавлением адресов наиболее назойливых рассылок в списки запрещенных.

Заключение

За время тестирования продукт показал очень хорошие результаты, так как большинство спам-писем было успешно отфильтровано, и от пользователей так и не поступило ни одного рапорта об обнаружении ошибок второго рода (классификация полезного письма в качестве спама). За два месяца не было зафиксировано ни одного сбоя или зависания продукта, при нагрузке на сервер порядка 3 тыс. писем в день существенного потребления ресурсов не зафиксировано. Возможность установки системы на выделенный сервер для обслуживания нескольких почтовых серверов, а также интеграция с почтовыми серверами различных типов является ценным качеством для больших корпоративных сетей или интренет-провайдеров. Кроме того, в ходе тестирования установлено, что Kaspersky Anti-Spam отлично работает совместно с Антивирусом Касперского 5.0, что позволяет применять эти продукты для комплексной защиты пользователей электронной почты от вирусов и спама.