Неправильные тесты

На днях мне попались на глаза результаты теста, проведенного локальным офисом одной антивирусной компании.

Тест сводился к тому, что пользователям предлагалось деинсталлировать установленный у них антивирус и установить антивирусный продукт проводившего тестирование вендора. После этого запускалось полное сканирование системы и фиксировалось число обнаруженных вредоносных программ и название ранее установленного на компьютере антивируса.

По результатам теста антивирусы-конкуренты располагались в порядке увеличения числа пропущенных ими по сравнению с программой проводившей тестирование антивирусной компании вредоносных программ.

Любой человек, знающий основы компьютерной безопасности, понимает бессмысленность подобного теста. Для начала, набор файлов везде был разным, и потому нельзя определить процент ложных срабатываний. Но что намного важнее, невозможно узнать, в каком состоянии находился ранее установленный на компьютере антивирус.

Судя по тому, как проводился тест, большинство из деинсталлируемых антивирусов либо использовали устаревшие базы, либо были ворованными, и потому вообще были неспособны обновлять базы сигнатур.

Это далеко не все причины, по которым не следует доверять результатам этого теста. Поскольку в тесте не было вообще никакого контроля переменных, то его сложно признать правильным.

Антивирусная индустрия очень чувствительна к таким вопросам; нам необходимо постоянно следить за тем, что мы говорим и что делаем. Каждая антивирусная компания ответственна за имидж и репутацию всей индустрии в целом.

Мнение антивирусных экспертов особенно важно в случае сравнительных тестов. У экспертов есть знание того, какие тесты правильны, а какие нет, и они могут соответствующим образом направлять действия маркетинга.

В конце концов мы все должны бороться с дезинформацией даже если она может в конечном итоге привести к положительным результатам.