AI — это не магия

На понедельничной планёрке Лиза выводит на экран письмо покупательницы: фото сыра «Российский» и подпись «Он весь в неровных дырках! Это брак?»

Выясняется, что письмо ещё в пятницу видели двое. Галина Петровна переслала его Гене, чтобы проверить стажёра. Артём — чтобы не отвечать самому. Запрос у обоих вышел одинаковый, слово в слово: «Подготовь ответ покупательнице».

Галине Петровне Гена предложил извиниться и вернуть деньги. Артёму — объяснить, что неровные дырочки у «Российского» — это глазки, так и задумано.

— Сам не знает, что думает, — говорит Галина Петровна.

— Зато варианты! — радуется Артём.

Правы оба: готового мнения внутри нет, а варианты бывают очень полезны. Как одно уживается с другим — об этом глава.

У большинства людей в голове одна из двух картинок. Первая: AI — огромный справочник, где на каждый вопрос лежит готовый ответ, надо только правильно спросить. Вторая: AI — электронный коллега со своим мнением.

Обе ломаются на истории с «Российским». Справочник на один и тот же вопрос открывает одну и ту же страницу. А коллега, который решил, что покупательнице надо вернуть деньги, не станет через минуту объяснять ей, что с сыром всё в порядке. Почему AI при этом так похож на коллегу — разговор гл. 2.

Дальше — вопросы, которые у всех возникают в первую же неделю. Откуда он взял цифру, которой я ему не давал? Почему вчера он «помнил» мой проект, а сегодня нет? Почему один сервис сходил в интернет, а другой уверенно выдал прошлогодние новости?

На всё это отвечает одна картинка — как рождается ответ. Она простая и останется верной до конца книги: дальше к ней будут только добавляться новые слои.

Сыграем. Продолжите фразу — первое, что приходит в голову.

«Рады сообщить, что наша команда…» Выросла? Запустила новый продукт? Переехала в новый офис? Вариантов десятки, и все годятся.

«С Новым…» Тут выбора почти нет. Годом.

«Выручка „Круга и Коры“ за прошлый квартал составила…» Рука сама тянется к числу — какому⁠-⁠нибудь правдоподобному. Вы его не знаете. Но фраза требует числа, и оно появляется. Что бывает с такими числами дальше — тема гл. 3.

Вы только что сделали то же, что делает модель. За плечами у вас тысячи прочитанных писем, поздравлений и отчётов, и вы знаете, как такие фразы обычно продолжаются. Модель прочитала несравнимо больше и выучила то же самое: какие продолжения обычно бывают. Ответ она пишет кусочек за кусочком: смотрит на всё, что уже написано, выбирает правдоподобное продолжение, потом следующее — и так очень быстро.

Где правдоподобное продолжение почти одно, как после «С Новым…», ответы выходят похожими. Где их много, как после «Рады сообщить…», каждый раз может получиться другое. Жалобу на неровные дырки одинаково правдоподобно продолжить и извинением, и объяснением. Галине Петровне выпало одно, Артёму — другое.

По кусочку. Модель получает текст — ваш промпт, то есть то, что вы написали, и всё, что к нему приложено, — разбитым на токены. Токен — кусочек текста: иногда целое слово, иногда его часть. Ответ модель генерирует по одному токену: смотрит на всё, что уже есть, выбирает правдоподобное продолжение, дописывает его — и снова. Готового ответа на ваш вопрос внутри нет: он появляется в момент генерации.

Почему ответы разные. Обычно модель выбирает не строго самое вероятное продолжение: в выборе есть доля случайности. Так делают намеренно — если всегда брать самое вероятное, текст выходит однообразным и часто начинает повторяться. Поэтому на один и тот же запрос приходят разные ответы, а там, где правдоподобных продолжений много, — очень разные.

Где упрощение ломается. «Продолжи фразу» — игра в слова, а модель работает с токенами. И «по кусочку» описывает, как текст выходит наружу. Это не значит, что модель ставит слово за словом вслепую, не учитывая, куда ведёт фраза, — подробнее в «Для задротов». Для работы важнее другое уточнение.

Вы разговариваете с продуктом. Чат-ассистент — это модель и всё, что вокруг неё. Модель — движок, который пишет ответ. Продукт решает, что ей дать прочитать, какие инструменты подключить и что показать вам. Сама модель видит только контекст: ваш промпт, историю этого разговора и то, что туда положил продукт, — найденные страницы, текст приложенного файла, сохранённые раньше сведения о вас. Вчерашние переписки, регламенты компании, утренние новости ей недоступны, пока продукт не положит их в контекст.

Отсюда формула, которая пройдёт через всю книгу:

AI-продукт = модель + контекст + инструменты.

Поиск, чтение файлов, выполнение кода, память между разговорами — всё это продукт. Модель просит поиск — продукт ищет и кладёт найденное в контекст. Сервис вас «помнит» — значит, продукт сохранил сведения и подложил их в новый чат. Сама модель между чатами ничего не хранит. У каждого такого слоя будет своя глава; пока достаточно знать, что они есть.

Вместе это и есть главная мысль главы: AI-ассистент — это модель, которая по кусочку дописывает правдоподобное продолжение, и продукт вокруг неё, который добавляет поиск, файлы, память и инструменты. Последнее звено схемы — вы: ответ читает и проверяет человек.

Что из этого следует. Три рабочих вывода.

1. Первый ответ — один из возможных. Для текста, где важны тон и формулировки, — письма, ответа клиенту, объявления — два-три варианта в новых чатах дают сырьё: из одного берёте структуру, из другого удачную фразу. Чаты нужны новые, потому что в старом модель видит свой прошлый ответ и тянется к нему. Это приём для текстов. Правилом «на всё важное — три генерации» он не становится.
2. Деталь, которой вы не давали и которая прыгает между вариантами, — сильный сигнал, что модель заполняет пробел: проверьте её. Не прыгает — всё равно не считайте совпадение источником истины. Для фактов решают источник и проверка, а не число попыток. Как искать источник — в гл. 3.
3. Смотрите, что сделал продукт: искал ли в интернете, читал ли файл, считал ли кодом. Если следов нет, ответ собран из вашего запроса и того, что модель выучила при обучении: свежих источников за ним нет.

Все компании, люди и цифры в примерах вымышлены.

Ещё один примеррасширение

Пришла коробка от поставщика со вскрытой упаковкой. Что делать при приёмке?

1. «Первый ответ — это и есть ответ».

   Первый ответ — одно из правдоподобных продолжений: иногда лучшее, иногда то, где модель подарила покупательнице сертификат. Для текста это повод посмотреть варианты, для факта — повод проверить.

2. «Три раза сказал одно и то же — значит, правда».

   Три ответа — три броска одного кубика, и на одну и ту же грань он может упасть трижды. А если раз за разом просить новый вариант, пока не выйдет приятный, из правдоподобных вариантов выберете удобный, и только.

3. «Каждый раз по-разному — значит, глючит».

   Разброс — так модель устроена. В тексте он полезен: три варианта письма дают больше удачных формулировок, чем один. Тут Артём прав.

4. «Я же ему вчера всё объяснил».

   В новом чате модель вчерашнего разговора не видит, а «помнить» может только продукт (гл. 10 и 22). Меняющиеся факты — цены, остатки, сроки — надёжнее каждый раз давать из актуального документа: память хранит то, что было верно вчера.