Непослушные нейросети и ленивые мошенники

Одна из популярных тем недавних исследований, связанных со все большей доступностью мощных больших языковых моделей (LLM), — capability uplift (рост возможностей). Это процесс, при котором человек с ограниченным опытом или ресурсами в какой-либо сфере благодаря LLM становится способен выполнять те или иные действия на гораздо более высоком уровне. Особенно это важно в сфере кибербезопасности, где возможность дешевле, быстрее и масштабнее проводить кибератаки может стать головной болью для тех, кто кибербезопасность обеспечивает.

Среди прочего злоумышленники используют LLM, чтобы генерировать контент для мошеннических веб-сайтов. Такие сайты могут имитировать ресурсы известных организаций, от соцсетей до банков, чтобы склонить пользователя ввести учетные данные (классический фишинг), а могут изображать магазины известных брендов с невероятными скидками на товары (доставки которых пользователь, конечно же, не дождется).

С помощью LLM злоумышленники способны полностью автоматизировать создание сразу десятков, а то и сотен веб-страниц с разным контентом. Если раньше при создании вредоносных страниц можно было автоматически выполнять только техническую работу: генерировать и регистрировать доменные имена, получать сертификаты и делать веб-страницы доступными через разного рода бесплатные хостинги, — то благодаря LLM эти страницы можно наполнять уникальным контентом достаточно высокого качества (куда выше, чем при использовании, например, синонимайзеров) без необходимости прибегать к дорогому ручному труду. Это, в частности, затрудняет детектирование с помощью правил, основанных на использовании конкретных фраз. Для обнаружения сгенерированных с помощью LLM страниц нужны системы, анализирующие метаданные или структуру страницы, либо нечеткие подходы, например, на базе машинного обучения.

Но LLM не всегда работают идеально, а потому при большом масштабе автоматизации или слишком низком уровне контроля они могут оставлять артефакты, свидетельствующие о неумелом применении модели. Эти специфические фразы, которые с недавних пор начали появляться везде, от отзывов на маркетплейсах до научных статей, а также оставляемые LLM-сервисами пометки позволяют на данном этапе развития технологии отслеживать применение злоумышленниками больших языковых моделей для автоматизации мошенничества.

Я в этом не участвую

Один из самых ярких признаков применения большой языковой модели для создания текста — наличие в тексте извинений модели от первого лица и отказов выполнять инструкции. Например, в крупной кампании, нацеленной на пользователей различных криптовалютных сервисов, есть страницы, на которых модель явно представляется, как на скриншоте ниже, где текст имитирует инструкцию по использованию популярной трейдинговой платформы Crypto[.]com:

Как видно, большая языковая модель отказывается от того, чтобы выполнять одну из базовых задач, для которой LLM применяются, — писать статьи:

I’m sorry, but as an AI language model, I cannot provide specific articles on demand.

Приведенный образец расположен на хостинговой платформе gitbook[.]io. Кроме извинений языковой модели, здесь можно обратить внимание на использование диакритического знака в слове Login и буквы m с хвостиком (ɱ) в заголовке для обхода детектирования на основе правил.

На еще одной странице, нацеленной на пользователей кошелька Metamask и расположенной на платформе Webflow[.]io, мы видим ответ языковой модели:

I apologize for the previous response not meeting your word count requirement.

Этот ответ интересен тем, что подразумевает, что он не был первым в диалоге с языковой моделью. Это означает или более низкий уровень автоматизации (злоумышленник попросил написать статью, увидел, что она короткая, и в той же сессии попросил написать то же самое, но длиннее), или, напротив, наличие в автоматизированном пайплайне проверок на длину (то есть недостаточно длинные ответы — частая проблема). Второе более вероятно, потому что при ручном копировании и форматировании кусок извинения вряд ли попал бы внутрь отформатированного тега.

Артефакты могут появляться не только в тексте на странице. В одном из примеров, имитирующих криптообменник STON[.]fi, извинения LLM обнаружились в метатегах страницы:

I’m sorry, but I don’t have enough information to generate a useful meta description without clear target keywords. Could you please provide the specific keywords you would like me to incorporate? I’d be happy to create an engaging, SEO-friendly meta description once I have those details. Just send over the keywords whenever you’re ready.

Наконец, LLM может использоваться для генерации не только текстовых блоков, но и целых веб-страниц. На странице выше, имитирующей сайт Polygon (и расположенной на lookalike-поддомене со словом bolygon в составе на хостинге github[.]io), видно сообщение, что модель вышла за лимиты длины текста, который она может генерировать:

Users can access a wide rangeAuthor’s Note: I apologize, but it seems like the response got cut off. As a language model, I’m limited to generating responses within a certain character limit.

Помимо прочего, в служебных тегах страницы есть ссылки на онлайн-сервис генерации сайтов на базе LLM, позволяющий создавать страницы по текстовому описанию.

Еще в одном примере — на кликбейт-странице, перенаправляющей на страницы с сомнительными взрослыми знакомствами — мы видим извинение модели, которая отказывается писать тексты про утечки данных:

I’m sorry for any misunderstanding, but as an AI developed by OpenAI, I am programmed to follow ethical guidelines, which means I cannot generate or provide content related to leaked material involving [имя модели] or any other individual.

Это классика

Ставшая мемом фраза As an AI language model… и ее вариации — нередкие гости на мошеннических страницах и вне контекста извинений. Так, на двух страницах с атакой на пользователей криптобиржи Kucoin, обе из которых расположены на домене gitbook[.]us, мы видим именно их.

В первом случае модель отказывается работать в роли поисковой системы:

As an AI developed by OpenAI, I can’t provide direct login links to third-party platforms like KuCoin or any other specific service.

Во втором мы видим небольшую вариацию на тему: модель утверждает, что не умеет сама выполнять логин на сайты:

As an AI developed by OpenAI, I don’t have the capability to directly access or log in to specific websites like KuCoin or any other online platform.

Стадия торга

Другим характерным и тоже достаточно однозначным признаком использования языковой модели является наличие уступительных придаточных: «Хотя я не могу сделать то, что вы хотите, я могу попробовать сделать что-то похожее».

На странице, расположенной на хостинге weblof[.]io, мы видим, как модель, хотя и не может дать конкретное руководство по входу в аккаунт на биржу BitMart, предоставляет более общее:

While I can’t provide real-time information or direct access to specific websites, I can certainly guide you through the general steps on how to log in to a typical online platform like BitMart.

На другой странице, на этот раз на gitbook[.]us, LLM отказывается давать подробные инструкции по входу в аккаунт на бирже Gemini:

While I can’t provide specific step-by-step instructions, I can certainly offer a general overview of what the process might entail.

Еще одна страница, также на gitbook[.]us, нацелена на пользователей криптокошелька Exodus:

While I cannot provide real-time information or specific details about the Exodus® Wallet login process, I can offer a comemhensive solution that generally addresses common issues related to wallet logins.

Прогресс не остановить

Еще одним важным признаком текста, сгенерированного LLM, является сообщение о том, какой датой заканчиваются знания модели о мире. Для обучения больших языковых моделей разработчики собирают большие датасеты с данными со всего интернета, но информация о событиях, которые происходят после начала обучения, в модель не попадает. Модель часто сигнализирует об этом фразами вроде «согласно моему последнему обновлению в январе 2023 года» или «мои знания ограничены мартом 2024 года».

Так, на поддельном сайте стейкинговой платформы Rocket Pool обнаружена следующая фраза:

Please note that the details provided in this article are based on information available up to my knowledge cutoff in September 2021.

На еще одном мошенническом сайте, нацеленном на пользователей Coinbase, можно увидеть текст, написанный более современной моделью:

This content is entirely hypothetical, and as of my last update in January 2022, Coinbase does not have a browser extension specifically for its wallet.

А вот на мошеннической странице из той же кампании, но нацеленной уже на пользователей кошелька MetaMask, для генерации текста использована еще более свежая модель:

As of my last knowledge update in January 2023, MetaMask is a popular and widely used browser extension…

Артефакты такого рода позволяют не только обнаружить факт применения LLM для создания мошеннических веб-страниц, но и оценить как длительность кампании, так и примерное время создания контента.

Не стоит погружаться в переменчивый мир

Наконец, у моделей от OpenAI есть определенные предпочтения по словам. Так, известно, что слово delve (погружаться во что-то) используется ими настолько часто, что некоторые люди считают его прямым признаком использования LLM для написания текста. Другой маркер — использование фраз типа in the ever-evolving/ever-changing world/landscape (в изменчивом/развивающемся мире/ландшафте), особенно при запросах на написание статей или эссе. Здесь важно отметить, что одно наличие этих слов не может стопроцентно свидетельствовать о том, что текст был сгенерирован, но внимание на них обращать все же стоит.

Например, один из сайтов расположен на домене gitbook[.]us и явно относится к кампании, в рамках которой мы видели более явные признаки использования LLM. На странице сайта мы видим как фразу:

In the dynamic realm of cryptocurrency

так и классическое let’s delve в описании процесса использования физического кошелька Ledger. На еще одной странице, посвященной Ledger (на этот раз на webflow[.]io), можно найти delve по соседству c ever-evolving world:

На еще одной странице с gitbook[.]us, на этот раз нацеленной на пользователей Bitbuy, мы видим отсылку к ever-evolving world of cryptocurrency и целое эссе о «плавании в криптовалютных морях» — такого рода метафоры являются пусть и плохо формализуемым, но все же признаком применения LLM.

Как уже говорилось, сгенерированный LLM текст может соседствовать с разными приемами, затрудняющими детектирование на основе правил. Например, на странице с gitbook[.]us статья о бирже Coinbase, содержащая фразу let’s delve, использует в заголовке математические спецсимволы из Unicode: Coinbase@% Wallet.

При этом из-за проблем со шрифтами браузер испытывает проблемы с отображением символов Unicode, поэтому на скриншоте они выглядят так:

Kucoin в рамках все той же кампании удостоился еще одной вариации страницы на gitbook[.]us. На этот раз мы видим обфускацию в заголовке: Kucoin® Loᘜin*, а также чуть менее характерное, но тоже говорящее let’s explore вместе с привычным delve:

we delve into the intricates of KuCoin login

Let’s explore how you can access your account securely and efficiently

Let’s delve into the robust security measures offered by this platform to safeguard your assets.

Наконец, взглянем на страницу, относящуюся к той же кампании и расположенную на хостинге webflow[.]io. Она нацелена на пользователей, интересующихся iTrustCapital, и предлагает окунуться в постоянно меняющийся рынок драгоценных металлов (the ever-changing emcious metals market). В этом примере также видна обфускация слова Login.

Заключение

Большие языковые модели совершенствуются, и вместе с этим растет понимание их сильных и слабых сторон, а также задач, с которыми они могут хорошо или плохо справляться. Злоумышленники активно изучают применение этой технологии в разных сценариях автоматизации, но, как видно, иногда допускают ошибки, которые помогают пролить свет на то, как они используют LLM, по меньшей мере, в сфере интернет-мошенничества.

Есть основания полагать, что в будущем тексты, которые генерируют LLM, будет все сложнее отличить от человеческих. Подход, основанный на наличии тех или иных говорящих слов, ненадежен, так как эти слова легко заменить на аналоги в автоматическом режиме. Кроме того, нет гарантий, что модели других семейств и тем более грядущие модели будут обладать теми же стилометрическими особенностями, что и доступные сейчас. Задача автоматического определения текстов, сгенерированных большими языковыми моделями, решается очень сложно, особенно если речь идет о типовых текстах вроде маркетинговых материалов, похожих на то, что мы видели в примерах. Чтобы предотвратить нежелательные переходы на вредоносные веб-сайты, стоит использовать современные защитные решения, сочетающие анализ текстовой информации, метаданных и других признаков для защиты от мошенничества.