Вывод номер три или должен ли Яндекс дорабатывать Спамоборону?

Действительно вышел обещанный пару недель назад отчет проекта «АнтиСпам».

Ничего не хочу сказать против самого исследования. Участники проекта 5 месяцев считали спам и не спам, распознаный и не распознанный двумя российскими движками (Спамтест и Спамоборона), на одном отдельно взятом домене получили некие цифры, свели их воедино, представили результаты. Сил затрачено много, работа проделана, и вроде бы, все хорошо.

Но вот выводы… выводы удивительные. Первое впечатление — что сам отчет писали одни люди, а выводы другие. Или что это вообще выводы от другого исследования.

Читаем сначала. Во вступлении сказано: «целью исследования является определение конечной эффективности технических мер противодействия распространению спама…», а разделе «Предмет исследования» идет уточнение: «Результаты исследования должны выявить эффективность спам-фильтрации и уровень ложных срабатываний…».

Прекрасно, достойная цель. Я, например, была заинтригована и взялась читать дальше. А дальше идут методика и полученные статистические данные. Там есть свои нюансы, но в целом, вроде бы, все ясно.

Дочитали до заключения, и вдруг бац — «Яндексу следует доработать систему Спамоборона в части фильтрации сообщений на английском языке, а возможно, и на других языка, отличных от русского» (вывод 3, стр. 7 отчета).

Собственно, я даже и не возражаю. Вполне возможно, что Яндексу действительно следует доработать Спамоборону. Но только… а что же с техническими мерами фильтрации и их эффективностью? Авторы отчета, ау! Если вы сказали «гоп», так надо прыгать. Обещали определить эффективность спам-фильтрации, так определяйте.

Но выводы отчета вообще никак не соотносятся с заявленной целью. Они ей… перпендикулярны, в лучшем случае. Допустим, Яндекс возьмет и доработает Спамоборону по рекомендациям авторов отчета (не знаю, как к этому отнесется Яндекс, но допустим — доработает), и что? Когда Спамоборона будет доработана, она станет эффективной? Или вообще никогда не станет?

Или вывод номер 2 (стр. 7 отчета): «… разница между обеими системами спам-фильтрации (прим. — речь идет о Спамтесте и Спамобороне) оказалась несущественной, и сделать вывод о превосходстве одной из них по результатам настоящего исследования не представляется возможным». Сразу возникает все тот же вопрос: и что дальше? Эти системы эффективны или нет? Недостаточно назвать ту или иную цифру. Надо ее прокомментировать. Полученные по вашим же данным 93% фильтрации — это хорошо или плохо?

Как разработчик, я могу ответить на вопрос — хороший ли показатель 93%, а также правильно ли он посчитан — но не я писала этот отчет. А мнение авторов отчета остается загадкой.

Короче, незаконченное какое-то исследование. Цифры есть, статистика есть, а выводы предоставляется сделать читателю. Сами авторы опасаются, похоже, конкретных выводов. Или не знают, какой на самом деле она должна быть — эффективная фильтрация.