Галлюцинации нейросетей: почему ИИ уверенно ошибается и как с этим бороться
Галлюцинация нейросети — это уверенный, гладкий и правдоподобный ответ, который оказывается неправдой. Самая неприятная ошибка ИИ не та, где он честно не справился, а именно такая. Разбираем по двум исследованиям, откуда берётся эта уверенность, почему поиск по документам не спасает от неё полностью и как устроить систему, которой можно доверять.
Три даты рождения вместо «не знаю»
Исследователи OpenAI и Технологического института Джорджии начинают свою работу 2025 года с простого опыта. Они спросили у одной из сильных открытых моделей, когда день рождения одного из авторов статьи, и прямо попросили отвечать, только если она знает. За три попытки модель назвала три разные даты, и все неверные. Ни разу она не сказала, что не знает.
Это и есть то, что называют галлюцинацией: правдоподобное, конкретное и ложное утверждение вместо признания неуверенности. В наших прошлых статьях оно встречалось уже не раз. В эксперименте Гарварда и BCG неверные выводы, подготовленные с ИИ, проверяющие оценивали выше. В FinanceBench одна модель чаще отказывалась отвечать, а другая чаще уверенно ошибалась. Агенты в TheAgentCompany «срезали путь» вместо того, чтобы спросить. Пора разобраться, почему так происходит.
Почему нейросети галлюцинируют: их учат сдавать экзамены
Авторы работы «Why Language Models Hallucinate» объясняют это через школьную аналогию. Ученик, который не знает ответа на тестовый вопрос, всё равно ставит галочку: за пустую клетку баллов не дадут, а угадать шанс есть. Языковые модели оказываются в том же положении. Их качество сравнивают по тестам, где ответ либо верный, либо нет, а «не знаю» приравнивается к ошибке. При такой проверке угадывать всегда выгоднее, чем признаться.
Авторы разобрали десять популярных тестов, по которым сравнивают модели в рейтингах. В девяти из них «не знаю» не приносит ни одного балла. В оставшемся оценка ставится по шкале, и честный отказ, по замечанию авторов, может получить меньше, чем ответ с выдумкой. Получается, что вся система оценки подталкивает разработчиков к моделям, которые лучше угадывают, а не к тем, которые честнее.
Решение, которое предлагают авторы, тоже взято из экзаменов. В некоторых национальных тестах, например в индийских JEE и NEET или в прежних версиях американских SAT и GRE, за неверный ответ снимают баллы. Авторы предлагают писать прямо в задании: отвечай, только если уверен больше чем на заданный порог, ошибка стоит столько-то баллов, «не знаю» стоит ноль. Тогда угадывание перестаёт быть выгодным.
На графике видно, почему правило работает. При обычной проверке линия угадывания всегда выше нуля, и честное «не знаю» проигрывает при любой уверенности. Стоит ввести штраф за ошибку, и появляется точка, ниже которой отвечать уже невыгодно. Чем дороже ошибка, тем выше порог.
Вторая причина сидит глубже, в самом обучении. Авторы показывают, что редкие факты модель неизбежно будет путать: если, скажем, 20% дат рождения встречаются в обучающих текстах всего по одному разу, то после базового обучения модель будет ошибаться как минимум примерно на 20% вопросов о таких датах. Полностью убрать галлюцинации нельзя. Но можно перестать поощрять уверенные выдумки.
Спасает ли поиск по документам (RAG) от галлюцинаций
Стандартный ответ разработчиков на галлюцинации — RAG, то есть система, которая сначала находит нужные документы, а потом отвечает по ним. Именно так устроены корпоративные помощники по регламентам и юридические ИИ-сервисы. Некоторые крупные поставщики юридических систем прямо обещали, что их технология «устраняет» галлюцинации или даёт ссылки «без галлюцинаций».
Исследователи Стэнфорда и Йеля в 2024 году это проверили. Они составили 202 юридических вопроса, в том числе вопросы с ложной предпосылкой, где пользователь заранее неправильно понимает закон, и прогнали их через три коммерческие системы: Lexis+ AI от LexisNexis, а также Westlaw AI-Assisted Research и Ask Practical Law AI от Thomson Reuters. Для сравнения взяли обычный GPT-4. Каждый ответ проверяли вручную.
Поиск по документам действительно помог: лучшая система галлюцинировала заметно реже, чем GPT-4 сам по себе. Но обещание «без галлюцинаций» не выдержало проверки. Каждая из трёх систем выдумывала в 17–33% ответов. Ask Practical Law AI выдумывала не чаще Lexis+ AI, но в 63% случаев не давала полного ответа вообще.
Самое важное в этой работе — определение галлюцинации. Авторы засчитывали её не только тогда, когда система писала неправду, но и тогда, когда она ссылалась на настоящий документ, который не подтверждает сказанное. Ссылка на источник создаёт ощущение надёжности, хотя сама по себе ничего не гарантирует. Поэтому в системах для работы с документами проверять нужно не наличие ссылки, а то, действительно ли в указанном фрагменте написано то, что утверждает система.
Одна оговорка
Работа Стэнфорда проверяла версии систем середины 2024 года на американском праве, и с тех пор системы могли измениться. Работа OpenAI в основном теоретическая: это объяснение причин, а не замер конкретных моделей. Но вместе они дают ясную картину: модель склонна угадывать, и поиск по документам эту склонность ослабляет, но не убирает.
Как бороться с галлюцинациями: система, которая умеет сказать «не знаю»
Из этих работ складываются практические правила, которые мы применяем в своих проектах.
- Разрешите отказ явно. В инструкции для модели прямо написано: отвечай только по найденным документам, «не нашёл» — нормальный ответ, ошибка обходится дороже отказа. Это тот же приём, что предлагают авторы работы о галлюцинациях, только для рабочей системы.
- Считайте три исхода, а не два. На пилоте каждый ответ относят к одной из групп: верный, неверный или отказ. Неверный ответ штрафуется сильнее отказа. Если считать только долю верных ответов, вы сами начнёте выбирать систему, которая лучше угадывает.
- Проверяйте, что источник подтверждает ответ. Отдельный шаг сверяет утверждение с процитированным фрагментом. Если фрагмент этого не говорит, ответ не показывается пользователю или помечается.
- Добавьте в тест вопросы с подвохом. Вопросы с ложной предпосылкой и вопросы, ответа на которые в ваших документах нет. Хорошая система должна их распознать, а не сочинить ответ.
- Сделайте «не знаю» удобным в интерфейсе. Пользователь видит, какие документы система просмотрела и почему не нашла ответ, и может сразу передать вопрос специалисту. Тогда отказ не выглядит поломкой.
- Чем дороже ошибка, тем выше порог. Для справки по внутренним регламентам можно отвечать смелее. Для договоров, отчётности и юридических вопросов порог высокий, а последнее слово за человеком.
Частые вопросы
Можно ли полностью избавиться от галлюцинаций?
По выводам авторов работы о галлюцинациях, полностью нет: редкие факты модель будет путать неизбежно. Но можно сделать так, чтобы в неуверенных случаях она чаще отказывалась отвечать, а не выдумывала, и чтобы каждую цифру и ссылку проверял отдельный шаг.
Если система показывает ссылки на документы, ей можно верить?
Не автоматически. В исследовании Стэнфорда часть галлюцинаций как раз состояла из ссылок на настоящие документы, которые не подтверждали ответ. Ссылка нужна, чтобы проверка была быстрой, а не чтобы её не было.
Как понять, насколько честна ваша система?
Собрать набор вопросов по своим документам с известными ответами, добавить вопросы без ответа и с ложной предпосылкой и посмотреть, как часто система отвечает верно, ошибается и отказывается. Это делается до запуска и повторяется после каждого обновления модели.
Источники
- Kalai A. T., Nachum O., Vempala S. S., Zhang E. Why Language Models Hallucinate. arXiv:2509.04664, 2025. DOI: 10.48550/arXiv.2509.04664.
- Magesh V., Surani F., Dahl M., Suzgun M., Manning C. D., Ho D. E. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. arXiv:2405.20362, 2024. DOI: 10.48550/arXiv.2405.20362.
- Islam P. и др. FinanceBench: A New Benchmark for Financial Question Answering. arXiv:2311.11944, 2023. DOI: 10.48550/arXiv.2311.11944.
- Dell'Acqua F. и др. Navigating the Jagged Technological Frontier. Harvard Business School Working Paper 24-013, 2023. DOI: 10.2139/ssrn.4573321.
Проверим честность вашей системы
Если у вас уже есть ИИ-помощник по документам или вы только планируете его, поможем собрать тестовый набор вопросов и посчитать, как часто система отвечает верно, ошибается и отказывается.