Почтовая система провайдера и спам: риски и практика

Почтовые сервисы в деятельности хостинг-провайдера

Предоставление различных услуг электронной почты в работе хостинг-провайдера является обязательной, хоть и не основной деятельностью . Да, наша основная задача — это размещение виртуальных серверов (сайтов) клиентов в Интернете, но почта является обязательной дополнительной услугой, и без нее невозможно представить современный пакет услуг хостинг-провайдера.

Большинство пользователей коммерческой (платной) электронной почты в данное время пользуются услугами именно специализированных хостинг-провайдеров, так как заказчикам удобно получать услуги хостинга веб-сайта и почты в одном месте. Сохраняются и такие пользователи, которые используют почтовые ящики на серверах своих провайдеров доступа (dialup, выделенная линия, GPRS и т.д.), но в основном коммерческие услуги электронной почты сейчас предоставляются именно хостинг-провайдерами.

Риски и проблемы из-за спама

Провайдеры хостинга предоставляют коммерческие услуги электронной почты, а значит, несут определенную ответственность за качество таких услуг в соответствии с законодательством, регулирующим отрасль связи. Снижение качества этих услуг ведет к определенным рискам для провайдера. К таким рискам, которые, в частности, возникают из-за наличия проблемы спама, можно отнести чрезмерные нагрузки на почтовые сервера и замедление доставки почты; потерю части легитимной почты из-за использования ошибающихся систем защиты от спама; попадание в различные списки запрещенных из-за клиентов-спамеров и, как следствие, потерю части почты и так далее. Рассмотрим риски подробнее.

Риски: списки запрещенных

Основным риском сейчас я бы назвал различные списки запрещенных, которые создаются ‘инициативными’ пользователями Интернета. Готов признать, некоторые из таких списков являются вполне разумными. Но есть и такие, которые создаются экстремально настроенными людьми, которые вносят в такие списки огромные сети, не задумываясь о последствиях своих действий.

Вред, наносимый списками запрещенных, заключается в том, что теряется или отвергается почта, которую клиенты провайдера отправляют через сервера провайдера.

В практике нашей компании были десятки случаев, когда наши почтовые сервера оказывались в различных списках запрещенных, и почта с них не принималась массой серверов по всему Интернету. Попадали мы в такие списки из-за единичных случаев рассылки спама со стороны наших клиентов. Да, бывает и такое, и большинство провайдеров, в том числе и наша компания, имеет внутренние политики работы с такими клиентами. Как правило, более одного случая спама от одного клиента не происходит. Однако, клиентов много, они разные, многие из них более чем не опытные и легко поддаются на предложения о массовой рассылке рекламы по электронной почте.

Многие списки запрещенных работают так, что, попадая в такой список, вы становитесь заложником его владельца. Случается, что вы просто никак не можете быть удалены из него. Бывает, что с вас требуют за это деньги. Это два основных варианта, с которыми мы сталкиваемся. Бывают и более ‘мягкие’ списки, но в них наши сервера, как правило, не попадают. Это говорит о том, что ‘больше всего нужно’ именно владельцам хулиганских списков запрещенных. Например, получить прибыль. Этот путь обогащения я с уверенностью называю преступным, хотя во многих случаях законодательством такая деятельность и не определяется как преступная.

Очень часто фильтрация по спискам запрещенных без оглядки на их владельцев и их адекватность используются на бесплатных почтовых системах и на корпоративных серверах. Реже такие списки используют провайдеры, так как они сами сталкиваются с негативными последствиями попадания в такие списки и более трезво оценивают возможность использования списков запрещенных без разбора.

Основные проблемы доставляют именно администраторы корпоративных почтовых серверов, которые зачастую не очень сведущи в вопросах защиты от спама и используют возможности что-нибудь пофильтровать все подряд . Таким образом они ‘подставляют’ своих работодателей, так как масса абсолютно легитимной почты от этого теряется.

Наша компания использует в процессе защиты от спама два списка запрещенных, в адекватность которых мы верим, и эта вера проверена практикой. Жалоб в связи с использованием нами этих списков мы не получаем совсем.

Риски: лишний трафик на сеть провайдера и чрезмерная нагрузка на почтовые сервера

Еще один серьезный риск для провайдера — это заметный входящий трафик на сеть провайдера. Принимая спам для своих клиентов, провайдер платит за тот трафик, который создается этим спамом. У крупных провайдеров это сотни гигабайт ‘мусорных’ данных ежемесячно. Возможно, для крупных провайдеров это и незаметный объем данных, но, мы знаем, копейка рубль бережет.

К тому же получаемый спам приходится хранить на жестких дисках почтовых серверов. По нашей собственной статистике, спам составляет 90-95 процентов от общего объема почты. То есть только одна десятая почты, которая хранится у провайдера, это то, что нужно пользователю. Остальные 90% хранимых данных — это спам, который пользователю не нужен. Для его хранения нужны диски, за диски надо платить, а удовлетворенность пользователя от работы с услугой заметно снижается. Диски в почтовых серверах дорогие, так как серьезный сервер — это серьезная нагрузка, в первую очередь, именно на диски, и нам приходится использовать для хранения почты дорогие дисковые массивы.

Получается, что провайдеры платят огромные деньги за хранение огромного количества спама. Мне известны случаи, когда дисковая подсистема почтового сервера провайдера стоит около 100 тысяч долларов, и на ней хранится: спам. Расходы на оказание услуг электронной почты из-за этого возрастают, на это отвлекаются значительные финансовые средства. Это серьезный риск для провайдера.

Кроме того, для приема огромного потока почты нужны очень серьезные мощности (процессоры и память) самих серверов. Количества спама растет, приходится покупать новые сервера. Это тоже деньги, отвлекаемые от основной деятельности хостинг-провайдера.

Риски: необходимость создания службы ABUSE

Для того чтобы обрабатывать жалобы клиентов на недоставляющуюся почту, нужно создать соответствующую службу — ABUSE. Это отдельный сотрудник или группа сотрудников, которые занимаются разбором жалоб клиентов, контактами с администрацией серверов, которые не принимают от провайдера почту, урегулированием других подобных ситуаций, имеющих отношение к спаму. Как правило, перечисленные функции выполняет отдел технической поддержки.

Нужно тратить время и деньги на обучение сотрудников, оплачивать то время, которое они тратят на разбор жалоб. Это несколько часов в день. Соответственно, зная средние зарплаты технического персонала, можно подсчитать примерные расходы на службу ABUSE. Для крупных провайдеров это четырехзначные цифры в долларах ежемесячно. Опять же, эти деньги расходуются далеко не на основную деятельность.

Риски: клиенты-спамеры

Клиенты, рассылающие спам, представляют серьезную угрозу для провайдера. Во-первых, результатом такой деятельности клиентов является попадание провайдера в различные списки запрещенных. Как правило, работа с клиентом заключается в проведении ‘профилактической’ беседы, так как почти все такие клиенты, а их немного, рассылают спам по причине того, что не имеют представления о цивилизованных и нецивилизованных методах рекламы в Интернете. Обычно после одной беседы проблем с клиентом нет.

Другую, гораздо большую проблему представляют клиенты, которые используют для рассылки спама не сервера провайдера, а услуги профессиональных спамеров. В этом случае в письме указывается адрес веб-сайта клиента, который размещается на технических мощностях провайдера, а непосредственно рассылка происходит через множество взломанных компьютеров по всему миру.

По закону невозможно закрыть рекламирующийся таким способом сайт, так как причины, по которым можно приостановить предоставление услуг, четко оговорены в законе, и жалоба третьей стороны, которая получила спам, разосланный без использования мощностей провайдера и ссылающийся на размещенный у него ресурс, не является основанием для закрытия сайта. Риски, которые тут возможны, это то, что на провайдера ‘обидятся’ самые ‘экстремальные’ антиспамеры и сервера провайдера попадут в самые ‘неправильные’ списки запрещенных.

Далее возникают сложности по удалению IP-адресов провайдера из таких списков. Что касается работы с клиентом по таким случаям, то, как правило, хватает устной беседы, как и в случае с рассылкой через SMTP-сервер провайдера, и рассылка спама прекращается.

Нельзя предоставлять качественную услугу без защиты от спама

Сейчас невозможно себе представить серьезную почтовую систему без защиты от спама. Это так, хотя бы потому, что клиенты, недовольные огромным количеством мусора в ящике, ищут ‘где лучше’ и легко меняют провайдера по этой причине. Предложений на рынке огромное количество, и многие провайдеры декларируют, что они защищают почту от спама. В нашей практике есть сотни случаев, когда нашу компанию выбирали именно из-за серьезных возможностей защиты от спама.

Отсутствие грамотной системы защиты от спама — реальная потеря денег. Равно как и в случае с использованием неграмотной системы защиты — клиенты наверняка сменят провайдера, когда по его вине пропадет несколько важных деловых писем. Этому существует масса примеров из практики.

Что делать

Выше были обозначены риски и расходы провайдеров, которые связаны со спамом. Что же делать?

Во-первых, обязательно нужно иметь политику компании в отношении противодействия спаму, которая описывает отношение компании к спаму, что и как компания делает в различных случаях, как реагируют на возникающие проблемы различные технические службы. Политик должно быть две: внутренняя и публичная. Внутренняя политика описывает взаимодействие служб компании, а публичная обозначает отношение компании к спаму и размещается на официальном сайте провайдера.

Цели создания политик — это обеспечение четкой работы технических служб и информирование заинтересованных лиц о том, как компания относится к спаму и что делает в этом направлении. Нужно, чтобы заинтересованные лица, желающие узнать, как компания относится к спаму, обязательно имели возможность это сделать просто и быстро.

Во-вторых, нужно защищать почтовые сервера от спама, снижая таким образом расходы на обработку и хранение мусорной почты и повышая степень удовлетворенности клиентов от использования услуг провайдера. Чем меньше спама доставляется на сервера провайдера, тем меньше денег тратится на обслуживание почтовой системы (‘железо’, storage, abuse, :), и тем больше довольны клиенты. Все это ведет к увеличению доходов.

Что делаем мы в компании .masterhost

Мы используем трехуровневую систему защиты от спама, которая показывает отличные результаты. По статистике за продолжительное время порядка 90-97% писем отвергается как спам, и при этом мы практически не получаем жалоб на ложные срабатывания и неправильную фильтрацию.

Подробнее о применяемой системе:

1. Сначала производится фильтрация потока почты на уровне SMTP-сессии, где IP-адрес отправителя проверяется по нескольким очень разумным и консервативным спискам запрещенных с открытой политикой. На этом этапе отвергается до 40% спама без жалоб со стороны клиентов.
2. Далее, по факту приема письма, производится формальная проверка на предмет существования домена отправителя письма, проверка по другим подобным параметрам. Это позволяет уверенно отправить назад до 10-20 процентов писем. Опять же, без жалоб со стороны клиентов.
3. На третьем уровне мы используем провайдерскую версию системы Spamtest компании ‘Ашманов и Партнеры’, которая проверяет письма по массе критериев и принимает решение о том, пропускать почту далее или нет.

Все это вместе дает более чем удовлетворительные результаты. То есть мы не забиваем диски мусором и не получаем жалоб от клиентов на неправильные срабатывания. Стоит оговориться, что некоторое количество жалоб все-таки есть, но оно настолько мизерно, что упоминать о нем в численном выражении просто бессмысленно.

Конечно, каждому из немногочисленных клиентов (их два-три десятка при сотнях тысяч почтовых ящиков), которые пожелали отказаться от фильтрации спама для конкретного ящика или для целого домена, такая возможность предоставляется по первому требованию.

В письмах, которые возвращаются отправителям системой защиты от спама, указан адрес страницы (http://noc.masterhost.ru/rbl/), где можно прочитать о том, почему было отвергнуто письмо, и что можно сделать в такой ситуации. Там же содержится форма для отправки письма в службу ABUSE, которой пользуются отправители отвергнутых писем, которые не могут написать в ABUSE из-за того, что их почта фильтруется.

Главное в ситуации, когда почта отвергается, чтобы отправитель был подробно оповещен о причинах фильтрации и ему было подсказано, что же делать дальше. Это очень важно, так как в этом случае у него не возникает ситуации безвыходности, когда непонятно, что же происходит. Нужно, чтобы все было открыто и понятно. Это важная часть публичной политики защиты от спама, о которой упоминалось выше. Это снимает и подавляющую часть вопросов по поводу отвергнутых писем в службу ABUSE, что делает ее функционирование заметно дешевле.

Чего хотят клиенты

При выборе стратегии защиты от спама нужно исходить, в первую очередь, из интересов клиентов, так как именно в их интересах производится фильтрация почты, что в свою очередь удешевляет эксплуатацию почтовой системы провайдером.
Клиентам нужно:

1. Чтобы система фильтрации почты обязательно была установлена у провайдера. Нефильтрованная почта сейчас уже практически не имеет смысла — в ней почти невозможно найти нужное письмо. К тому же спам приходится качать и платить за его скачивание провайдеру доступа. Немного, но все же.
2. Чтобы почта доставлялась быстро и без ложных срабатываний фильтров спама. Нужно очень ответственно подходить к выбору фильтров, так как ошибочно отфильтрованная почта — это недовольный клиент, который ушел к другому, более ‘аккуратному’ провайдеру.
3. Чтобы в случае, если произошло ложное срабатывание, была очевидная возможность получить информацию о причинах произошедшего, и чтобы была возможность отказаться от фильтрации.
4. Чтобы услуга фильтрации, если она предоставляется на коммерческой основе, стоила минимальных денег. Делая фильтры более дорогими, чем основная услуга, или даже заметными на фоне стоимости основной услуги, провайдеры обрекают такую услугу на невостребованность.

Это — главные потребности клиентов. Исходя из этого, нужно вырабатывать политику и методологию защиты от спама.

Как защитаться от спама новыми методами, какие продукты годятся

Ранее в арсенале провайдеров были только такие методы защиты от спама, как фильтрация по спискам запрещенных и проверка домена отправителя на предмет существования. Эти нехитрые методы защиты первыми и были обойдены спамерами. Поэтому очевидным представляется использование новых методов анализа писем на предмет того, насколько они похожи на спам. Если ранее производить анализ непосредственно содержимого писем было невозможно, и почту отвергали не потому, что письмо похоже на спам, а потому, что оно пришло с IP-адреса, с которого когда-то рассылали спам, то теперь можно изучить содержание письма и понять, насколько оно похоже на спам.

На рынке есть несколько продуктов, которые позволяют анализировать почту. У нас есть опыт работы как с бесплатными, так и с платными программами. Бесплатные продукты, как правило, работают, преимущественно изучая заголовок и тело письма на предмет наличия подозрительных слов или выражений, а платные, как правило, используют эти же методы плюс базу данных по образцам спама, которая обновляется через Интернет в реальном времени.

Конечно, заманчиво было бы сэкономить и использовать то, за что не нужно платить. Однако, в этом случае потребуется огромная дополнительная работа: фильтр придется долго учить тому, что такое спам, а что нет, и в дальнейшем постоянно следить за его работой и корректностью принимаемых им решений. Такой подход — не для провайдеров, так как в этом случае постоянно расходуется время технического персонала, которое нужно для проведения этих работ. Кроме того, требуется определенная дополнительная квалификация. К тому же, байесовский фильтр, как правило, применяемый в таких продуктах, невозможно ‘научить’ правильно определять спам для десятков тысяч разных пользователей. Это, скорее, более индивидуальное решение. Будут ошибки.

Гораздо более заманчивыми выглядят платные решения, которые предполагают простое внедрение, постоянно обновляющиеся базы и квалифицированную техническую поддержку. В этом случае запуск системы фильтрации спама напоминает установку антивируса на почтовый сервер (что очень просто), а не многомесячную эпопею борьбы с непонятно кем написанным бесплатным продуктом, непонятно как работающим.

То есть простота внедрения и минимальные усилия по поддержанию работоспособности системы — отличительные качества платных продуктов. Для провайдеров это очень актуально, так как помимо защиты от спама существуют десятки или сотни других задач, а штат технических специалистов у провайдеров, как правило, довольно невелик.

Как мы выбирали платный продукт

Мы исходили из того, что не хотим тратить много времени на первоначальный запуск и поддержание системы в дальнейшем. Мы хотели, чтобы система работала эффективно и, в первую очередь, работала эффективно по фильтрации именно русского спама. Мы сравнили несколько платных систем, большинство из которых были зарубежной разработки. Цены на все системы были примерно одинаковы, а русский спам, что неудивительно, лучше всего фильтровала система российской разработки. Впрочем, с англоязычным и ‘восточным’ спамом система работает тоже вполне удовлетворительно.

Еще одним критерием выбора была производительность системы. Конечно, нам было бы не очень интересно отвести под фильтрацию спама десять физических серверов. Это дорого, их нужно администрировать, поддерживать и иметь запас комплектующих. Выбранная нами в итоге система Spamtest компании ‘Ашманов и Партнеры’ замечательно заработала на одном сервере, где кроме непосредственно этой системы находится и еще один из принимающих почту для клиентов почтовых серверов (relay, MX).

Система работает на сервере Intel SR1300 с двумя процессорами Intel Xeon 2.66GHz на операционной системе FreeBSD 4.10. Система Spamtest использует 10-15 процентов ресурсов процессоров. Это более чем удовлетворительный показатель, так как через нее проходит 2-3 миллиона писем ежедневно.