В прошлом месяце ИИ-бот, отвечающий за техническую поддержку популярного инструмента для программистов Cursor, разослал нескольким клиентам уведомление об изменении политики компании. В сообщении говорилось, что теперь использовать Cursor можно только на одном компьютере.

Разгневанные клиенты высказали свое недовольство на интернет-форумах. Некоторые даже отменили свои подписки. Но их гнев усилился, когда они поняли, что произошло: ИИ-бот сообщил об изменении политики, которого на самом деле не существовало.

«У нас нет такой политики. Конечно, вы можете использовать Cursor на нескольких машинах», — написал в посте на Reddit генеральный директор и соучредитель компании Майкл Трюэлл. «К сожалению, это был некорректный ответ от фронтлайн-бота поддержки, основанного на ИИ».

Спустя более двух лет после появления ChatGPT, технологические компании, офисные работники и обычные пользователи активно используют чат-боты с искусственным интеллектом для решения самых разнообразных задач. Однако до сих пор нет способа гарантировать, что эти системы искусственного интеллекта будут выдавать точную информацию.

Самые новые и мощные технологии, так называемые системы рассуждений от таких компаний, как OpenAI, Google и китайского стартапа DeepSeek, генерируют больше ошибок, а не меньше. Хотя их математические навыки заметно улучшились, их способность оперировать фактами стала менее надежной. Причины этого не совсем ясны.

Современные ИИ-боты основаны на сложных математических моделях, которые обучаются, анализируя огромные объемы цифровых данных. Они не могут и не решают, что является правдой, а что ложью. Иногда они просто придумывают информацию — явление, которое некоторые исследователи ИИ называют галлюцинациями. Согласно одному из тестов, уровень галлюцинаций в новейших системах ИИ достигал 79 процентов.

Эти системы используют математические вероятности для угадывания наилучшего ответа, а не строгий набор правил, определенных инженерами. Поэтому они совершают определенное количество ошибок. «Несмотря на все наши усилия, они всегда будут "галлюцинировать"», — сказал Амр Авадалла, генеральный директор Vectara, стартапа, разрабатывающего ИИ-инструменты для бизнеса. «Это никогда не исчезнет».

На протяжении нескольких лет это явление вызывало опасения относительно надежности этих систем. Хотя они полезны в некоторых ситуациях, например, при написании курсовых работ или суммировании документов, их ошибки могут создавать серьезные проблемы.

ИИ-боты, связанные с поисковыми системами, иногда выдают нелепо неверные результаты. Если вы спросите их о хорошем марафоне на Западном побережье США, они могут предложить забег в Филадельфии. Если они сообщат вам количество домохозяйств в штате Иллинойс, они могут сослаться на источник, который не содержит этой информации.

Эти галлюцинации могут не быть большой проблемой для многих людей, но это серьезная проблема для тех, кто использует технологию с судебными документами, медицинской информацией или конфиденциальными бизнес-данными.

«Вы тратите много времени, пытаясь выяснить, какие ответы являются фактическими, а какие нет», — отметил Пратик Верма, соучредитель и генеральный директор Okahu, компании, помогающей бизнесу справляться с проблемой галлюцинаций. «Неправильное обращение с этими ошибками по сути сводит на нет ценность систем ИИ, которые призваны автоматизировать задачи».

Более двух лет такие компании, как OpenAI и Google, постоянно улучшали свои системы ИИ и снижали частоту этих ошибок. Но с использованием новых систем рассуждений количество ошибок растет. Согласно собственным тестам OpenAI, последние системы компании галлюцинируют с более высокой частотой, чем предыдущие.

Компания обнаружила, что o3 — ее самая мощная система — галлюцинировала в 33% случаев при проведении теста PersonQA, который включает ответы на вопросы об известных личностях. Это более чем в два раза превышает показатель галлюцинаций предыдущей системы рассуждений OpenAI под названием o1. Новая система o4-mini галлюцинировала с еще более высокой частотой: 48 процентов.

При проведении другого теста под названием SimpleQA, который задает более общие вопросы, показатели галлюцинаций для o3 и o4-mini составили 51% и 79% соответственно. Предыдущая система o1 галлюцинировала в 44% случаев.

В статье, подробно описывающей тесты, OpenAI заявила, что необходимо провести дополнительные исследования, чтобы понять причину этих результатов. Поскольку системы ИИ учатся на большем объеме данных, чем люди могут осмыслить, технологам трудно определить, почему они ведут себя именно так.

«Галлюцинации не являются изначально более распространенными в моделях рассуждений, хотя мы активно работаем над снижением более высоких показателей галлюцинаций, которые мы наблюдали в o3 и o4-mini», — заявила представитель компании Гэби Райла. «Мы продолжим наши исследования галлюцинаций во всех моделях для повышения точности и надежности».

Ханнане Хаджиширзи, профессор Университета Вашингтона и исследователь из Института искусственного интеллекта Аллена, входит в группу, которая недавно разработала способ отслеживания поведения системы до отдельных фрагментов данных, на которых она обучалась. Но поскольку системы учатся на таком огромном объеме данных, этот новый инструмент не может объяснить все. «Мы до сих пор не знаем, как именно работают эти модели», — сказала она.

Тесты, проведенные независимыми компаниями и исследователями, показывают, что показатели галлюцинаций также растут для моделей рассуждений от таких компаний, как Google и DeepSeek.

С конца 2023 года компания Vectara отслеживает, как часто чат-боты отклоняются от истины. Компания просит эти системы выполнить простую задачу, которую легко проверить: суммировать конкретные новостные статьи. Даже в этом случае чат-боты упорно придумывают информацию.

Первоначальное исследование Vectara показало, что в такой ситуации чат-боты выдумывали информацию как минимум в 3% случаев, а иногда до 27%. За последние полтора года такие компании, как OpenAI и Google, снизили эти показатели до 1-2%. У других, например, у стартапа Anthropic, они колебались в районе 4%. Но показатели галлюцинаций в этом тесте выросли с появлением систем рассуждений. Система рассуждений DeepSeek, R1, галлюцинировала в 14,3% случаев. Показатель OpenAI o3 вырос до 6,8%.

Еще одна проблема заключается в том, что модели рассуждений предназначены для того, чтобы тратить время на «размышление» над сложными задачами, прежде чем прийти к ответу. Пытаясь решить проблему шаг за шагом, они рискуют допустить галлюцинацию на каждом шаге. Ошибки могут накапливаться по мере увеличения времени на размышление.

Новейшие боты показывают пользователям каждый шаг рассуждения, что означает, что пользователи также могут видеть каждую ошибку. Исследователи также обнаружили, что во многих случаях шаги, отображаемые ботом, не связаны с ответом, который он в итоге выдает.

«То, что система говорит, что она "думает", не обязательно соответствует тому, что она думает на самом деле», — прокомментировал Арьо Предипта Гема, исследователь ИИ.