Трудности перевода или Особенности индустриальных тестов

В романе «Автостопом по галактике» есть персонаж Вавилонская рыбка, которая обладает любопытной способностью переводить любые языки. И хотя сейчас глобальный рынок IT-безопасности говорит на одном, английском, языке, иногда ощущается острая необходимость в такой рыбке, чтобы пользователи могли понять истинный смысл маркетинговой активности некоторых разработчиков.

Свежий пример.

В начале ноября тестовая лаборатория AV-Comparatives одновременно провела два теста по одной и той же методологии. Разница между тестами состояла в списках участников и названиях: Comparative Test of Business Security Products и Comparison of ‘Next-Generation’ Security Products.

Избавлю читателя от размышлений о причинах таких запутанных манёвров – хорошо известно стремление некоторых разработчиков избегать публичных тестов и сравнения с технологическими лидерами, чтобы не выдать свою несостоятельность. Но без публичных тестов маркетинговые машины этих разработчиков теряют важный рычаг – думающий заказчик всегда требует независимого мнения авторитетных организаций. Выход был найден – собраться с себе подобными, прикрыться удобной методологией и броским названием ‘Next-Generation’.

В следующие дни после проведения теста участники опубликовали свои интерпретации результатов, основанные на сомнительных логических выводах, манипулировании цифрами и предвзятой маркетинговой риторике. При этом все интерпретации сходились во мнении, что «вот, наконец-то, публично доказано превосходство ‘nextgen’ над ‘традиционными’ продуктами».

Включаем вавилонскую рыбку: так ли хороши ‘Next-generation’ продукты и если хороши, то по сравнению с чем? Давайте сравним результаты с тестом-близнецом, в котором участвовали другие продукты, но по той же самой методологии.

Важно: реальное качество защиты характеризует показатель вне скобок (protected/protection rate), поскольку нет смысла в обнаружении и пропуске атаки.

Защита от вредоносных программ по разным сценариям и ложные срабатывания:

Защита от эксплойтов:

Слышно как стих звон медалей в ‘Next-generation’ лагере, а победные реляции стали напоминать сознательные попытки ввести пользователей в заблуждение в «лучших» традициях лукавого тестового маркетинга.

Судите сами:

Один участник в пресс-релизе «случайно» забыл рассказать про свой провал в защите от эксплоитов (28%) и перепутал свой результат в защите по WPDT-сценарию (100% против 98%). Другой участник также умолчал про скромный результат в защите от эксплоитов (82%), но гордо охарактеризовал своё предпоследнее место в этой категории «…обогнал конкурентов…». Также он предпочёл не выпячивать своё последнее место в тесте на AVC-сэмплах, но не сдержался сделать вывод о необходимости замены мифического ‘Legacy AV’ (кто знает, что это такое?) на свои продукты. Третий участник решил перейти сразу к делу и объявил себя самым некстгенным некстгеном, получившим, ни много ни мало, благословление сертификат от уважаемой тестовой лаборатории на замену этого мифического ‘Legacy AV’:

По поводу этого теста у вавилонской рыбки есть ещё ряд вопросов.

Использованная методология тестирования защиты от вредоносных программ упрощена по сравнению с полноценным Real World Protection Test, по которому сертифицируются другие продукты. В этом тесте каждый месяц на протяжении года используется в шесть раз больше сценариев реальных кибератак (WPDT). И даже добавленные тесты на RTTL и AVC сэмплах не являются заменой этому упрощению.

Зачем потребовалось упрощение методологии и разделение участников? Не было ли это поблажкой ‘Next-generation’ разработчикам, опасающихся провала в обычных тестах? Как эти разработчики будут выглядеть в полноценном тесте по сравнению с технологическими лидерами?

Последний вопрос – что такое ‘Next-Generation’?

Согласно обширному исследованию SANS Institute, проведённому по заказу другого самопровозглашённого ‘nextgen’ разработчика, категория ‘Next-generation AV’ охватывает всех крупных вендоров решений для кибербезопасности. И, наоборот, не соответствует многим «некстгенам», особенно в уровне эффективности и защиты от zero-day угроз:

Не могу сказать, что я полностью согласен с таким определением: в нём отсутствуют такие важные условия как многоуровневая защита, адаптивность, способность не только обнаруживать, но предотвращать, реагировать и прогнозировать кибератаки, что гораздо важнее для пользователя. Однако даже это определение однозначно говорит, что нужно сравнивать все продукты по одной методологии.

 
Выводы:

Во-первых (и несмотря ни на что): хочу выразить благодарность AV-Comparatives, что смогли наконец-то провести публичный тест для нескольких ‘nextgen’ продуктов. Ничего, что объём WPDT-теста облегчён. Ничего, что тест не даёт возможности для прямого сравнения участников. Как говорится, «лиха беда начало». Мы давно хотели открыто сравниться с «некстгенами» на независимой площадке и это случилось.

Во-вторых: надеюсь независимые тестовые лаборатории на этом не остановятся и будут включать в тесты по стандартам AMTSO всех разработчиков, а разработчики, в свою очередь, не будут чинить тому препятствий.

В-третьих: в процессе выбора решения для кибербезопасности необходимо учитывать как можно более широкий спектр тестов. Надёжные продукты отличаются стабильностью результата в разных тестовых лабораториях, разных видах тестов и на протяжении длительного времени.

Наконец: сейчас, в пору планирования бюджетов на следующий год, надеюсь ‘nextgen’ разработчики направят больше ресурсов на развитие технологий и участие в публичных тестах, нежели на рекламные плакаты в аэропортах, запланированные неточности в пресс-релизах и шумные вечеринки.

Как ‘nextgen’-разработчики манипулируют независимыми антивирусными тестами

Tweet

Постскриптум от вавилонской рыбки:

Cловосочетание «next generation security» и его производные в коммуникациях, будь то маркетинговые материалы, рекламные ролики, white papers или аргументы менеджера по продажам, могут являться признаком агрессивной телепатической матрицы, направленной на продвижение фуфла и требуют особого напряжения способностей критического разума.

От автора:

Я ничего не понял, но полностью согласен с рыбкой.