Почему AI уверенно ошибается

В 2023 году нью-йоркский юрист готовил документ для федерального суда и попросил AI-ассистента ChatGPT подобрать прецеденты. Тот подобрал. Названия дел, номера, цитаты из решений — всё как у людей.

Юрист решил перестраховаться и спросил у чата, реальные ли это дела. Чат заверил: реальные, их можно найти в авторитетных юридических базах.

Шести дел из списка не существовало. Ни одного.

Судья назвал их выдуманными решениями с выдуманными цитатами. Юристы вместе с фирмой заплатили 5 000 долларов штрафа, а история облетела весь мир.

Самое неприятное здесь даже не ошибка — ошибаются все. Неприятно, как он ошибся: гладко, подробно, уверенно. И подтвердил, когда спросили в лоб.

Вы почти наверняка видели это в мелком масштабе. Попросили цифры для презентации — получили цифры со ссылкой на исследование, которое не гуглится. Попросили статью закона — получили статью, в которой написано не то. Попросили цитату известного человека — получили красивую фразу, которую он никогда не говорил. Но мог бы. Звучит прямо как он.

Общее у этих историй одно: неправильный ответ выглядит точно так же, как правильный. Тот же тон. Та же уверенность. То же аккуратное оформление с подзаголовками.

С людьми мы привыкли к другому. Коллега, который не уверен, обычно себя выдаёт: «кажется», «надо уточнить», пауза. Поэтому гладкий уверенный ответ по привычке кажется ответом человека в теме. С AI эта привычка подводит: гладкость у него есть всегда, а знание — не всегда.

В главе две вещи: почему он так делает и что с этим делать, чтобы не оказаться тем юристом.

Представьте справочную на вокзале. В окошке сидит Гена. Гена прочитал все справочники мира, но на этом вокзале не был ни разу. А правило у справочной одно: посетитель не должен уйти без ответа.

Вы спрашиваете:

Гена не говорит «не знаю». Гена вспоминает, как обычно устроены вокзалы, и выдаёт самый правдоподобный маршрут:

Гена не врёт. Врать — это знать правду и говорить другое. Гена правды не знает. Он знает, как обычно звучат правильные ответы про вокзалы, и чаще всего это совпадает с реальностью: касса у входа, туалет налево и вниз. Поэтому Гене и верят.

Только в этом здании два этажа. Фонтана нет. Кабинета 404 тоже.

А Гена ответил с той же улыбкой и тем же голосом, что и про кассу. Вот и весь секрет уверенных ошибок: у Гены один голос на всё.

Как рождается ответ. Модель пишет ответ по кусочку, каждый раз выбирая правдоподобное продолжение того, что уже написано. Её «знания» — не картотека с фактами, а закономерности, усвоенные на огромном массиве текстов. Частые факты — столица Франции, устройство договора, формулы в Excel — сидят прочно. Редкие — детали нишевого исследования, номер конкретного судебного дела, точная цифра из отраслевого отчёта — размыты.

Когда деталь размыта, модель не останавливается. Она продолжает текст так, как обычно продолжаются такие тексты. Форму она знает на пятёрку: как выглядят ссылка на исследование, номер дела, цитата в кавычках. Содержание — как повезёт. Так рождается идеально оформленная ссылка на статью, которой нет.

Почему он не говорит «не знаю». Проще всего объяснить через экзамен. Модели сравнивают на тестах, и многие тесты засчитывают только верный ответ: за «не знаю» — ноль, ровно как за ошибку. Разработчики хотят высоких баллов, а на таком экзамене угадывать выгоднее, чем признаваться. Помните тесты без штрафа за неверный ответ? Пустая клетка там — худшая стратегия. Современные модели признают незнание чаще. Но рассчитывать на это — всё равно что ждать, что Гена сам скажет: «Я тут впервые». Как это устроено точнее — в «Для задротов».

Ещё две привычки. Он любит соглашаться: ассистентов учат на оценках людей, а людям приятно, когда с ними согласны. Поэтому «подтверди, что я прав» — худший способ проверить, правы ли вы (подробно — гл. 14). И он может не знать свежего: у модели есть дата среза знаний, а о том, что было позже, она узнаёт только из поиска или ваших материалов. Без них уверенно расскажет, как было раньше.

А если в продукте есть поиск и файлы? Выдумок становится меньше, но механизм тот же: продукт кладёт в контекст найденные страницы или ваши документы, модель продолжает текст по ним. Появляются новые ошибки — не тот абзац, слабый источник, чужая цифра. Ссылку модель может и сгенерировать сама. А даже если источник правда был найден и лежал у неё перед глазами, ссылка ещё не доказывает, что модель верно его поняла и что он подтверждает сказанное.

Где аналогия ломается. У Гены есть правило «не отпускать без ответа». У модели такого правила нет — есть склонность, которую сформировали обучение и тесты. А ещё настоящая справочная может позвонить в соседнее окошко — это поиск. Он меняет материал, но не способ отвечать.

Семь уверенных ошибок — главный инструмент главы. Все уверенные ошибки AI укладываются в семь типов.

Ещё два примерарасширение

1. «Спрошу у него, уверен ли он».

   Именно так сделал юрист из вступления. Модель может подтвердить выдумку, а может извиниться и выдумать новую. Бывает, Гена и сам честно сомневается. Но лампочки, которая надёжно загорается каждый раз, когда он не уверен, у него нет. Проверка — источник вне чата, а не второй вопрос тому же Гене.

2. «Там же есть ссылка».

   Ссылка — тоже сгенерированный текст. Она может вести в никуда, на главную страницу сайта или на статью про что⁠-⁠то другое. Пока не открыли — у вас не ссылка, а декорация.

3. «Он же написал, что перепроверил».

   Если в продукте не было поиска или открытия документа, «я перепроверил» — просто ещё одна правдоподобная фраза. Очень правдоподобная. Смотрите на следы действия: ссылки, результаты поиска, цитаты из файла.

4. «Звучит профессионально — значит, правда».

   Профессиональный тон AI выдаёт бесплатно и к любому содержанию. К чуши — тоже.

5. «Я попросил не выдумывать».

   Фраза «если не знаешь — так и скажи» помогает: модель чаще признаёт, что не нашла. Но это сдвиг вероятностей, а не гарантия.

6. «С поиском он не ошибается».

   Поиск меняет материал, а не механизм. Выдумок меньше, ошибок чтения — больше, чем хотелось бы.

7. «Раз врёт — выброшу его».

   Перегиб в другую сторону. Ошибки не делают AI бесполезным: во многих подходящих задачах он правда экономит часы. Увольнять стажёра за то, что он не знает, где кабинет 404, — так себе менеджмент. Ваша задача — понимать, во что обойдётся его ошибка и как её поймать. Какие задачи вообще не стоит отдавать AI — в гл. 4.