Об особенностях фильтрации иероглифического спама

Специалисты компании Commtouch обнаружили образцы спамовых писем на китайском языке, оформленные по традиционным канонам иероглифической письменности – с вертикальным расположением языковых символов.

Как отмечают исследователи, идентификация спама на китайском и японском языках всегда представляла проблему для защитных систем, основанных на фильтрации контента.

В отличие от символики, принятой в прочих языках, иероглифы представлены двумя байтами, а сам иероглифический алфавит отличается значительной избыточностью. Кроме того, в китайском и японском языках слова не разделяются пробелами, могут быть представлены несколькими иероглифами, а их значение уточняется дополнительными смысловыми знаками. Наконец, классическое иероглифическое письмо имеет вертикальную ориентацию, затрудняющую работу обычных контент-сканеров. Все эти особенности требуют специальной настройки систем фильтрации.

При использовании компьютера вертикальная форма написания, как правило, заменяется на общепринятую – слева направо и сверху вниз. В образцах же нелегитимных рекламных писем, зафиксированных Commtouch, обнаружилось традиционное вертикальное расположение иероглифов, которое легко прочитывается китайскими пользователями, но затрудняет процесс спам-фильтрации.

Источник: Commtouch