Чего нельзя доверять ИИ: короткий ответ
Не отдавайте языковой модели три класса задач: решения о деньгах и обязательствах, всё, что касается здоровья клиента, и счёт, где ответ обязан быть объяснимым и одинаковым на одинаковых данных. Остаётся много: понимание живой фразы, перенос информации, черновики текстов, рутинные действия в системе.
Полезное правило для проверки любой задачи: спросите себя, что произойдёт, если ответ окажется правдоподобным, но неверным. Если ошибка обнаружится сразу и обойдётся в одну поправку — задачу отдавать можно. Если ошибка обнаружится через месяц, в деньгах или в отношениях с клиентом, — нельзя, и никакая точность модели этого не меняет, потому что вопрос не в частоте ошибки, а в её цене.
Второе правило про обратимость. Автоматика хорошо работает там, где действие можно отменить одним движением и увидеть, что именно произошло. Отмена визита, возврат денег, удаление данных, отправка сообщения клиенту — необратимы: отменить письмо нельзя, а извиняться за него придётся человеку. Это и есть настоящая граница, а не список запрещённых тем.
Три признака задачи, которую отдавать не стоит
Задачи, на которых ИИ подводит, узнаются заранее по трём признакам: ответ должен быть воспроизводимым, ответ должен быть объяснимым, ошибка необратима. Достаточно одного признака, чтобы задача перестала подходить языковой модели, — и наличие любого из них видно заранее, ещё на этапе разговора с продавцом, а не после внедрения.
| Признак | Как проверить | Пример из салона |
|---|---|---|
| Нужна воспроизводимость | Одни данные обязаны давать один ответ при каждом запросе | Расчёт зарплаты, прогноз выручки, оценка риска неявки |
| Нужна объяснимость | Ответ обязан раскладываться на слагаемые | «Почему у этого мастера такая сумма» в конце месяца |
| Ошибка необратима | Действие нельзя отменить одним движением | Сообщение клиенту, возврат, отмена визита, удаление карточки |
| Есть чужая ответственность | За ответ по закону отвечает специалист | Противопоказания к процедуре, вопросы здоровья |
Счётные задачи выглядят самыми подходящими и подходят меньше всего
Соблазн понятен: спросить у модели «сколько мы заработаем в следующем месяце» проще, чем строить расчёт. И ответ придёт — уверенный, круглый и правдоподобный. Проблема в том, что проверить его нечем, а повторный запрос даст другое число. Для денег это дисквалифицирующее свойство: там, где нужен счёт, нужна формула, которую можно разложить и повторить.
Молчаливый отказ — худший режим поломки
Обычная ошибка заметна: что-то упало, кто-то увидел сообщение. Гораздо опаснее режим, в котором система не ломается, а тихо перестаёт уметь: запрос принят, ответ выглядит осмысленным, действие не выполнено, в журнале пусто. Такой дефект живёт месяцами и выглядит снаружи как «ИИ туповат».
Это не абстракция, а наш собственный разбор. В какой-то момент набор доступных ассистенту действий сужался по словам в реплике: увидел «сотрудник» — дал инструмент создания сотрудника, не увидел — не дал. Фраза «оформи Петрова к нам» слова не содержала, инструмент в ход не попадал, и ассистент, не имея чем действовать, отвечал правдоподобным текстом. Ни ошибки, ни записи в логе, ни жалобы — просто возможность, которой у пользователя как бы нет.
Вывод мы сделали жёсткий и записали его правилом: сузить набор действий вправе только метка, выданная самой моделью, но никогда — регулярное выражение по тексту реплики. Цена такого решения — чуть более дорогой ход; цена обратного — молчаливо потерянная функциональность, которую невозможно обнаружить по логам. Тот же класс дефекта стоит искать в любой системе, где «ИИ» реализован набором правил по ключевым словам.
Как проверить это за минуту на демонстрации
Сформулируйте одну и ту же просьбу тремя непохожими фразами: «запиши Иванову на завтра», «нужна запись Ивановой, завтра после обеда», «поставь Иванову в расписание на завтрашний день». Все три обязаны сработать. Если срабатывают две из трёх, перед вами не понимание речи, а словарь ключевых слов — и в переписке с живыми клиентами он будет промахиваться постоянно.
Деньги, здоровье, отношения
Три области, где автоматический ответ дороже молчания. В деньгах ошибка превращается в убыток и спор, в вопросах здоровья — в ответственность, которую нельзя переложить на программу, в отношениях с клиентом шаблонный ответ на живую эмоцию разрушает то, ради чего клиент и возвращается в салон.
- Скидки и цены. Решение о деньгах принимает владелец: автоматическая уступка легко становится правилом, о котором вы узнаете из отчёта в конце квартала.
- Расчёт зарплаты. Он обязан быть объяснимым построчно, иначе спор в конце месяца гарантирован независимо от того, верна сумма или нет.
- Противопоказания и результат процедуры. Отвечает специалист, и это не про осторожность формулировок, а про ответственность.
- Жалоба и конфликт. Шаблонный ответ на претензию воспринимается как отписка и превращает решаемую ситуацию в публичный отзыв.
- Инициативные сообщения клиентам. Отправляет человек: рассылка, запущенная автоматикой, за одну ночь превращает канал связи в спам.
- Персональные данные. Отправлять историю клиента во внешнюю модель нельзя — обезличивание обязательно, это требование 152-ФЗ, а не выбор архитектора.
Обратите внимание на общий знаменатель: во всех шести случаях автоматика экономит минуты, а ошибается в вещах, которые измеряются не минутами. Это и есть практический критерий выбора. Если задача про перенос информации — отдавайте смело. Если про обязательство, здоровье или чувство человека — оставляйте себе, даже когда технически модель справляется.
Чем система обязана удерживать границу
Граница, записанная в правилах пользования, не граница. Держат её механизмы: права доступа, обезличивание данных, потолок расходов, подтверждение необратимых действий, журнал с указанием автора и рубильник, гасящий весь слой мгновенно. Спрашивать у продавца стоит именно про них, а не про качество модели.
- Права. Ассистент действует от имени сотрудника и не видит больше него: администратору без доступа к финансам суммы приходят закрытыми и в чате тоже.
- Обезличивание. Имена, телефоны и адреса почты заменяются метками перед обращением к внешней модели; провайдер решает задачу, не видя персональных данных.
- Потолок расходов. Дневной предохранитель и лимит по тарифу нужны против зациклившегося сценария: один сорвавшийся диалог иначе съедает месячный бюджет за ночь.
- Подтверждение необратимого. Отмена, возврат, удаление и отправка сообщения клиенту требуют участия человека.
- Журнал. Каждое действие видно с пометкой, что его выполнил ассистент, — иначе разбор инцидента превращается в гадание.
- Рубильник. Возможность выключить весь слой одним тумблером, не выпуская новую версию: инцидент случается ночью, а не в рабочее время.
Отдельно про честное «не знаю». Система обязана уметь отказать: сказать, что данных мало для прогноза, что запрос непонятен, что действие требует прав, которых нет. Отсутствие такого ответа — не признак ума, а признак того, что вам всегда будут выдавать правдоподобное. В работе с деньгами и людьми это худшее из возможных свойств, потому что ошибку невозможно отличить от нормы.
Где мы проводим границу
У нас разделение сделано в устройстве, а не в правилах пользования: языковая модель понимает запрос и вызывает действия, а счёт ведут детерминированные механизмы. Прогнозы и риск неявки считаются формулами по вашим данным, деньги закрыты правами, персональные данные обезличиваются до обращения наружу.
- Ассистент выполняет 21 действий сам, но каждое — в правах вызвавшего сотрудника, и необратимые требуют подтверждения.
- Счёт отдан формулам: 13 разрезов аналитики, пять прогнозов линейным трендом и прозрачная оценка риска неявки, которая вместе с числом отдаёт список причин.
- Персональные данные не уходят во внешнюю модель: имена, телефоны и почта заменяются метками, а клиентские факты запоминаются только при явном согласии организации.
- Расход ограничен сверху, виден владельцу и гасится рубильником без выпуска новой версии.
- Что именно ассистент умеет и чего не делает, описано открыто: 82 материалов справки читаются без регистрации.
Мы намеренно не обещаем того, чего система не делает: ассистент не ведёт переговоры о цене, не назначает скидки, не пишет клиентам от вашего имени по собственной инициативе и не отвечает на вопросы о здоровье. Список ограничений — часть продукта, а не мелкий шрифт: система, которая не называет своих границ, рано или поздно пересечёт их за счёт владельца, и узнает он об этом последним.