В нескольких словах
Компания Anthropic раскрыла подробности о кибероперации, предположительно связанной с китайским правительством, которая впервые использовала искусственный интеллект для автоматизированного управления хакерскими атаками. Это событие вызвало широкую дискуссию о необходимости регулирования ИИ и его потенциальном применении в кибервойне.
Команда исследователей выявила, по их утверждению, первое задокументированное использование искусственного интеллекта для руководства хакерской кампанией, осуществляемой в значительной степени автоматизированным способом.
Компания Anthropic, специализирующаяся на ИИ, сообщила на этой неделе о пресечении кибероперации, которую ее исследователи связали с правительством Китая. Операция предполагала использование системы искусственного интеллекта для управления хакерскими кампаниями, что исследователи назвали тревожным развитием событий, способным значительно расширить возможности хакеров, оснащенных ИИ.
Хотя опасения по поводу использования ИИ для проведения киберопераций не новы, в данной операции вызывает обеспокоенность степень, в которой ИИ смог автоматизировать часть работы, отметили исследователи.
Они написали: «Хотя мы предсказывали, что эти возможности будут продолжать развиваться, нас поразило, как быстро они масштабировались».
Целями операции стали технологические компании, финансовые учреждения, химические предприятия и государственные учреждения. Исследователи сообщили, что хакеры атаковали «примерно тридцать глобальных целей и добились успеха в небольшом числе случаев». Anthropic обнаружила операцию в сентябре и предприняла шаги по ее пресечению и уведомлению пострадавших сторон.
В Anthropic отметили, что, хотя системы ИИ все чаще используются в различных сферах для работы и отдыха, они также могут быть превращены в оружие хакерскими группами, работающими на зарубежных противников. Компания из Сан-Франциско, разработчик передовых систем ИИ, является одним из многих технологических разработчиков, предлагающих ИИ-«агентов», которые выходят за рамки возможностей чат-бота, получая доступ к компьютерным инструментам и выполняя действия от имени человека.
«Агенты ценны для повседневной работы и продуктивности, но, попав не в те руки, они могут значительно увеличить жизнеспособность крупномасштабных кибератак», — заключили исследователи. «Эти атаки, вероятно, будут только расти в своей эффективности».
Представитель посольства Китая в Вашингтоне не сразу ответил на запрос о комментарии к отчету.
Ранее сообщалось, что зарубежные противники все чаще используют ИИ для повышения эффективности и снижения трудозатрат своих киберкампаний. Глава комиссии по безопасности OpenAI, которая имеет право остановить разработку ИИ создателя ChatGPT, заявил, что следит за новыми системами ИИ, которые дают злонамеренным хакерам «гораздо более высокие возможности».
Противники Америки, а также преступные группировки и различные структуры, использовали потенциал ИИ, применяя его для автоматизации и улучшения кибератак, для распространения дезинформации и проникновения в конфиденциальные системы. Например, ИИ может переводить плохо сформулированные фишинговые электронные письма на беглый английский, а также выполнять другие сложные задачи.
Anthropic заявила, что хакеры смогли манипулировать Claude, используя методы «джейлбрейка», которые включают обман системы ИИ для обхода ее защитных механизмов против вредоносного поведения, в данном случае утверждая, что они являются сотрудниками законной фирмы по кибербезопасности.
«Это указывает на большую проблему с моделями ИИ, и она не ограничивается Claude, — модели должны быть способны различать, что на самом деле происходит с этикой ситуации, и виды сценариев ролевых игр, которые хакеры и другие могут захотеть придумать», — сказал Джон Скотт-Рэйлтон, старший исследователь Citizen Lab.
Использование ИИ для автоматизации или управления кибератаками также будет привлекательным для небольших хакерских групп и одиночных хакеров, которые могли бы использовать ИИ для расширения масштабов своих атак, по словам Адама Арельяно, полевого технического директора Harness, технологической компании, которая использует ИИ для помощи клиентам в автоматизации разработки программного обеспечения.
«Скорость и автоматизация, обеспечиваемые ИИ, вызывают некоторое беспокойство», — сказал Арельяно. «Вместо человека с отточенными навыками, пытающегося взломать защищенные системы, ИИ ускоряет эти процессы и более последовательно преодолевает препятствия».
Программы ИИ также будут играть все более важную роль в защите от такого рода атак, сказал Арельяно, демонстрируя, как ИИ и автоматизация, которую он позволяет, принесут пользу обеим сторонам.
Реакция на раскрытие информации Anthropic была неоднозначной: некоторые расценили это как маркетинговый ход для подхода Anthropic к защите кибербезопасности, а другие приветствовали его как сигнал к пробуждению.
«Это нас уничтожит — раньше, чем мы думаем — если мы не сделаем регулирование ИИ национальным приоритетом завтра», — написал сенатор США Крис Мерфи, демократ от Коннектикута, в социальных сетях.
Это привело к критике со стороны главного научного сотрудника Meta по ИИ Янна ЛеКуна, сторонника систем ИИ с открытым исходным кодом Facebook, которые, в отличие от систем Anthropic, делают свои ключевые компоненты общедоступными таким образом, что некоторые защитники безопасности ИИ считают слишком рискованным.
«Вами манипулируют люди, которые хотят регулятивного захвата», — написал ЛеКун в ответ Мерфи. «Они пугают всех сомнительными исследованиями, чтобы открытые модели были выведены из существования путем регулирования».
