Бог шельму метит

Лаборатория статистики и психофизиологии речи Нью-Йоркской Академии Наук разработала уникальный способ борьбы со спамом. Новый метод фильтрации учитывает психофизиологические особенности мышления спамеров и основан на лингвистических замерах уровня стресса авторов текстов.

Дело в том, что скрытое/подавляемое чувство вины спамеров вызывает использование специфических речевых штампов. Анализ 50 миллионов спамерских писем показал, что тексты спамовых сообщений, как правило, отличаются затрудненностью чтения, связанной с повышенным содержанием в тексте знаков препинания, союзов, сложноподчиненных предложений, длинных фраз с большим количеством именных групп, что объясняется более высоким уровнем стресса при создании текстов.

Ученые отмечают, что такие же особенности характерны для литературных произведений «сложных авторов», в первую очередь Достоевского и Драйзера. Однако UKLMN (универсальный коэффициент, показывающий уровень стресса авторов), подсчитанный для этих текстов, значительно меньше, чем аналогичный показатель для спама.

Данный показатель настолько выражен, что отличие спамерского текста от «нормального» сохраняется даже при использовании таких характерных трюков, как подстановка синонимов и зашумление текста письма удвоенными гласными. В сочетании с методом FairUCE, продвигаемым IBM (анализ домена отправителя путем разбора серий DNS-запросов), замер «стрессовости» письма дает точность 99,8-99,9% при практически полном отсутствии ложных срабатываний.

Любопытно, что таким же способом можно выявлять и наличие определенной степени опьянения автора сообщения, что выражается, наоборот, в укорачивании предложений, потере знаков препинания и отсутствии согласования времен в тексте.

Отметим, что правозащитники США (и Амнести Интл) уже высказали обеспокоенность в связи с тем, что письма обычных людей могут подвергаться проверке с помощью нового метода. По мнению правозащитников, съем данных о стрессе автора сообщения нарушает Права Человека. По словам Гуда Форолла (Good Forall), одного из представителей Амнести Интл, каждый имеет право писать письма в любом состоянии, и выявление стресса автора не может служить законным основанием для блокирования письма. «Это противоречит всем нормам!», — заявил Форолл.

Несмотря на обеспокоенность правозащитных организаций, более 50 компаний уже объявили о намерении использовать новый метод в своих системах защиты от спама.

О Лаборатории статистики и психофизиологии речи Нью-Йоркской АН:

Лаборатория занимается распознаванием речи; выявлением характерных квазиискусственных семантических последовательностей текстов, генерируемых различными группами населения; метафорическим анализом концептуализации сознания спамеров; выявлением психофизиологических основ текста и влиянием текстовых штампов на сознание человека.

Лаборатория основана в 1899 году и имеет славную историю. На ее счету 1770 патентов, в год публикуется до 50 печатных работ. С первого дня своего существования Лаборатория тесно сотрудничает с Правительством США и ФБР. В исследованиях Лаборатории принимали участие многие известные ученые разных стран. Так, в ее стенах работают многочисленные выходцы из России. Интересно, что основатель Гугла Сергей Брин стажировался в этой лаборатории и писал курсовую работу в 1996 году.

В 2005 году Лаборатория получила очередные гранты IBM и Microsoft.

Источник: Upss.News.com