Каскад ложных срабатываний

Специалисты в области безопасности сотрудничают и обмениваются разнообразной информацией в разных ситуациях, и рамки корпоративной принадлежности им в этом не помеха. Однако ситуации, когда специалисты, работающие в разных антивирусных компаниях, объединяют свои усилия для написания заметки в корпоративный веблог, встречаются нечасто.

Когда Джон Лейден (John Leyden) из онлайн-издания The Register писал статью о спорах, разгоревшихся после проведенной «Лабораторией Касперского» эффектной демонстрации того, как производители антивирусного ПО «перенимают» друг у друга ложные срабатывания, он обратился к нам обоим с вопросами. Проблема эта очень серьезная, потому что она может вносить – и вносит – серьезный перекос в результаты сравнительного тестирования и анализа уровня обнаружения, демонстрируемого антивирусными продуктами. Ответив на вопросы Джона, мы продолжили дискуссию по электронной почте и пришли к выводу, что (как и вся антивирусная индустрия) сходимся в оценке всех ключевых аспектов проблемы. Мы пришли к выводу, что прояснить эти аспекты важнее, чем продолжать дискуссию относительно деталей проведенной «Лабораторией Касперского» демонстрации.

Тот факт, что в рамках демонстрации в качестве канала для распространения «искусственных» ложных срабатываний среди производителей антивирусных продуктов был использован сервис Virus Total, не следует ставить этому сервису в вину. Компания Hispasec (владалец Virus Total) никогда не одобряла применение ее сервиса в качестве замены сравнительному тестированию или его использование для валидации образцов, поскольку и в том, и в другом случае результаты никак нельзя считать достоверными.

Само по себе использование нескольких решений для проверки объектов не является проблемой, независимо от того, размещены ли сканеры на общедоступных сайтах, ресурсах для специалистов или установлены тестовыми или антивирусными компаниями на собственном оборудовании. Проверка образцов несколькими антивирусными программами, безусловно, имеет смысл как инструмент сравнительного анализа или как подготовка к более детальному исследованию. Однако польза от такой проверки зависит от знаний пользователя и понимания им того, как правильно пользоваться этим инструментом.

Большинство тестовых организаций и антивирусных компаний хорошо разбираются в этой проблематике, однако она часто не учитывается в достаточной степени при организации тестирования. Проведенный «Лабораторией Касперского» эксперимент привлек к проблеме внимание некоторых журналистов и издателей, которым больше других следует ее осознавать и которые, вероятно, обратили бы куда меньшее внимание на презентацию, будь она не такая спорная.

Как участники Организации по стандартам тестирования антивирусных решений (Anti-Malware Testing Standards Organization – AMTSO), мы полностью разделяем позицию, что уход от статического тестирования и переход к динамическому – это верное направление. Мы надеемся, что все большее число журналистов, пишущих обзоры, осознают, что динамическое тестирование на небольшом числе прошедших должную валидацию образцов обеспечивает более адекватную оценку уровней обнаружения при меньшем риске непреднамеренного перекоса в ту или иную сторону. Чем больше людей будет это понимать, тем легче будет антивирусным компаниям сосредоточиться на обнаружении реальных угроз, а не образцов, которым не место в тестовых коллекциях.

Магнус Калькуль, ведущий региональный эксперт «Лаборатории Касперского» в Германии.

Дэвид Харли, руководитель отдела исследований вредоносного ПО ESET.