Где AI гений, а где тупит

Скорее всего, у вас вышло так: что попроще — «блеснёт», что посложнее — «посыплется». Трудно мне — трудно и AI. Так рассуждают почти все, но у AI трудности лежат в других местах.

Разобраться в незнакомой теме за вечер человеку трудно, а AI часто справляется с этим хорошо — по крайней мере в общих чертах. Сложить 37 чисел человеку скучно, но с калькулятором несложно. А модель, которая считает «в уме», без выполнения кода, может ошибиться. Или не ошибиться — но вы этого не узнаете, пока не пересчитаете. Выжимка договора может выйти отличной и при этом потерять одну оговорку, ради которой её и заказывали.

Способности AI распределены неровно, и совсем не так, как у людей. Поэтому вопрос «насколько AI умный» ничего не решает: по нему не понять, какие из шести задач отдать, а какие оставить себе. Решает другое — и это видно на том же тесте.

Теперь поменяем вопрос. Представьте, что в каждой задаче из теста AI ошибся. Задайте к этой ошибке два вопроса: как быстро я её замечу? И что будет, если не замечу?

Неудачная тема рассылки видна сразу. Не заметили — ничего страшного: одно письмо открыли хуже.

Неверная сумма в таблице не видна вообще. Заметите, только если пересчитаете. Не заметили — цифра уходит в отчёт, а за ней — деньги.

Пропущенная оговорка в выжимке договора тоже не видна: текст гладкий, а оговорки в нём нет. Не заметили — подписали не то.

Смягчённое письмо коллеге вы перечитаете перед отправкой. Тон опять не тот — поправите.

Решение о годовом договоре проверить нечем: верно ли оно, станет ясно через год. Ошиблись — год с неподходящим поставщиком.

Два вопроса — две оси: легко или трудно проверить, дёшево или дорого ошибиться. Четыре сочетания — четыре квадранта. Это и есть матрица задач, главный инструмент главы.

Почему граница неровная. Сначала — почему мини-тест обманывает. Вспомните гл. 1: модель пишет правдоподобное продолжение по закономерностям, выученным на текстах людей. Отсюда сильные стороны — всё, где хватает языковых закономерностей: переформулировать, сократить, структурировать, объяснить распространённое, предложить десять вариантов. И слабые: точный счёт без инструментов, свежие факты, редкие детали и всё, что знает только ваша компания, длинные цепочки, где одна ошибка тянет за собой остальные.

Инструменты сдвигают границу. С выполнением кода расчёт перестаёт быть счётом «в уме», с поиском появляются свежие факты, с файлами — специфика компании. Но граница остаётся неровной и двигается с каждой новой версией модели. Поэтому списки «AI умеет / не умеет» устаревают первыми. Два вопроса не устаревают: они про задачу.

Матрица задач. Способности AI распределены неровно, поэтому задачу отдают по двум вопросам — легко ли проверить результат и дорого ли ошибиться, — а не по тому, насколько AI умный. У каждого квадранта матрицы своё название и своя страховка.

Задачи из мини-теста ложатся так. Темы рассылки и смягчённое письмо — «Отдавайте смело». Сумма по таблице — «Отдавайте и проверяйте»: считать должна формула или код, а сверка — за вами (подробно — гл. 13). Незнакомая тема за вечер — «Черновик, не истина»: общую картину AI даст быстро, но каждый факт, на который обопрётесь на встрече, сверяете с источником. Годовой договор — «Только с экспертом»: AI поможет собрать вопросы к поставщику и сравнить условия, а решают люди, которые за это отвечают. С выжимкой договора интереснее — о ней ниже.

Матрица — один из главных инструментов курса: она вернётся, когда будем проверять факты, поручать AI целые цепочки действий и делать финальную практику.

Как страховать. Страховку выбирают заранее — до того, как отдать задачу.

• «Отдавайте смело» — прочитайте результат целиком, прежде чем использовать, даже если это пост: на это уходят секунды.
• «Отдавайте и проверяйте» — решите, что здесь ключевое: цифры, даты, имена, обещания, выводы, на которых держится решение. Цифры проверяете пересчётом формулой или кодом. Выводы из документа — по цитате: пусть AI покажет, где это написано, а вы сверите (гл. 12).
• «Черновик, не истина» — берите как карту местности: структура, термины, вопросы, гипотезы. Всё, на что обопрётесь, — из источника (гл. 16).
• «Только с экспертом» — AI делает подготовку: собирает вопросы, сравнивает варианты, составляет список того, что обсудить с юристом. Главное — не отдать ему решение незаметно для себя.

Одна задача — разные квадранты. Квадрант зависит от ставок. Перевести внутреннее письмо коллегам — «Отдавайте смело». Перевести договор — «Только с экспертом», хотя задача вроде бы та же. И от того, кто проверяет. Выжимку договора юрист проверит сам — он знает, где прячутся оговорки: для него это «Отдавайте и проверяйте». Для маркетолога та же выжимка — «Только с экспертом»: пропущенную оговорку он не заметит.

Где два вопроса обманывают. «Замечу сразу» — оценка часто слишком оптимистичная: гладкий уверенный текст прячет ошибки лучше корявого (гл. 3). «Дорого» — спросите, для кого: для вас, для адресата, для компании. Ошибка в посте для соцсетей дешёвая, пока пост не про цены и не про здоровье. И матрица оценивает только задачу. Подходящая задача с неподходящими данными — вопрос следующей главы.

Завтра на работе. Перед тем как отдать задачу, задайте два вопроса и выберите страховку по квадранту. Это минута. А «с AI быстрее» считайте гипотезой и проверяйте на своих задачах — как в челлендже этой главы.

Все компании, люди и цифры в примерах вымышлены.

Ещё один примеррасширение

1. «Он же умный — отдам всё».

   Блестящий результат в одной задаче ничего не говорит о соседней. Граница неровная: задача, похожая на ту, где AI блеснул, может лежать по другую её сторону.

2. «Проверка съест всю экономию».

   Проверяют только ключевое — то, на чём держится решение. Если даже это дольше, чем сделать самому, оставьте задачу себе: экономии здесь нет.

3. «Проверю, если что⁠-⁠то покажется странным».

   Ошибки AI обычно не выглядят странными — они гладкие. Проверка «по ощущению» означает, что проверки нет. Страховку назначают заранее, по квадранту.

4. «Составлю список, что AI умеет, и буду по нему работать».

   Список устареет с первым же обновлением модели. Надёжнее вести свою матрицу и обновлять её, когда что⁠-⁠то проверил на деле.

5. «AI решит, а я подпишу».

   Для «Только с экспертом» так нельзя. Решения о людях, здоровье, праве и деньгах принимает человек, который за них отвечает. AI может подготовить материалы, варианты и вопросы; выбор — за человеком.