В 2023 году вопрос звучал «а это вообще работает». Сейчас он звучит иначе: работает многое, и надо решить, за что браться, чтобы не потратить бюджет на демонстрацию возможностей.
Ниже — карта применений, честная про сложность, и правила выбора, по которым можно принять решение самостоятельно.
Что с чего начинать
Четыре типа задач
Полезно различать их, потому что требования и цена у них разные.
Понять текст
Разобрать письмо, извлечь позиции из документа, определить тему обращения, найти нужное в договорах. Самый зрелый и предсказуемый класс задач, и самый выгодный на старте.
Ответить по своим данным
Поиск с ответом по базе знаний, документам, истории. Работает хорошо, но качество определяется не моделью, а тем, как устроен поиск по вашим материалам.
Предсказать число
Спрос, срок, вероятность отказа, трудоемкость. Это классическое машинное обучение, а не языковые модели. Нужны исторические данные и терпение: без истории предсказывать нечего.
Сделать действие
Агент, который сам закрывает задачу. Самый дорогой и самый рискованный класс. Подробный разбор — в отдельной статье про ИИ-агентов.
Первые два класса дают результат за недели. Третий требует накопленных данных. Четвертый имеет смысл, когда первые два уже работают.
Своя модель, облако или сервис
Вопрос, который задают первым, а решать его надо третьим — после того, как понятно, что именно внедряется.
- Готовый сервис. Расшифровка звонков, распознавание документов, помощник в переписке. Если задача типовая, платить за разработку незачем.
- Облачная модель по API. Российские — YandexGPT, GigaChat. Дешево на старте, быстро, не требует инфраструктуры. Ограничение — данные уходят провайдеру, и это надо оценить с точки зрения 152-ФЗ и коммерческой тайны.
- Открытая модель на своем сервере. Данные не покидают контур. Нужна видеокарта и человек, который это сопровождает. Оправдано при чувствительных данных или большом стабильном объеме, где аренда дороже железа.
Практический ход: сделать вызов модели изолированным за собственным интерфейсом. Тогда переход с облака на свой сервер или смена провайдера занимает день, а не переписывание половины системы. Это единственное архитектурное решение, которое стоит принять до начала работ.
Что определяет качество на самом деле
Выбор модели влияет на результат меньше, чем три другие вещи.
Данные. Если регламенты противоречат друг другу, а справочники в трех вариантах написания, модель будет уверенно выдавать противоречивые ответы. Подготовка данных — основная часть работы в любом проекте.
Поиск. Когда ответ строится по вашим документам, все решает то, насколько точно система находит нужные фрагменты. Плохой поиск нельзя компенсировать хорошей моделью.
Проверяемость. Должен быть набор реальных случаев с известными правильными ответами и регулярный замер доли совпадений. Без этого «стало лучше» остается вопросом ощущений, и любое изменение промпта превращается в лотерею.
Сколько это стоит
Считать надо три статьи, и первая обычно самая большая.
Вторую статью стоит прикинуть до старта: умножить среднее число обращений к модели на одну задачу, на число задач в месяц и на цену. Если результат сопоставим со стоимостью ручной обработки, проект не окупится, каким бы удачным ни было демо.
Как измерять качество
Без чисел разговор о качестве превращается в обмен впечатлениями. Минимальный набор такой.
Замер делается на фиксированном наборе случаев, который не меняется. Иначе после каждой правки промпта будет казаться, что стало лучше.
Третья цифра важнее остальных. Система, которая в двух процентах случаев уверенно выдумывает, опаснее той, которая в двадцати процентах честно отвечает «не нашел».
Что спросить у подрядчика
- Откуда берутся факты в ответе и показывается ли источник.
- Что происходит, когда ответа в данных нет.
- Как замеряется качество и на каком наборе.
- Что будет при смене модели — сколько работы, что придется перенастраивать.
- Где физически обрабатываются данные и что уходит наружу.
- Сколько стоит тысяча обработанных обращений в месяц.
Чего делать не стоит
- Начинать с самой сложной задачи. Пилот на голосовом роботе или автономном агенте почти гарантированно закончится разочарованием и выводом «нам это не подходит».
- Ставить модель туда, где работает формула. Расчет, маршрутизация по правилам, проверка полей — обычный код дешевле и повторяем.
- Отправлять персональные данные в облако не подумав. Решается обезличиванием или российским провайдером, но решать надо до, а не после.
- Оценивать результат на десяти примерах. На десяти хорошо работает все. Нужен набор из сотни реальных случаев, включая неудобные.
- Внедрять без владельца. У проекта должен быть человек, который решает, что считается правильным ответом. Иначе спор о качестве будет вечным.
Как запускать
- Выбрать задачу из левого верхнего угла. Много однотипного текста на входе, понятный результат, дешевая ошибка.
- Собрать сто реальных случаев за прошлый месяц. Это и тестовый набор, и материал для настройки.
- Запустить в режиме подсказки. Модель готовит, человек подтверждает. Никаких автоматических действий на первом этапе.
- Замерить долю принятых без правок. Это и есть реальная автоматизация, в отличие от впечатления от демо.
- Расширять права по мере роста этой доли. И только после того, как она стабильна пару месяцев.
Посмотрим, какая задача у вас в левом верхнем углу
Опишите, где в компании много однотипной работы с текстом, документами или обращениями. В ответ — разбор, что из этого решается обычным кодом, что действительно требует модели, и оценка пилота с конкретным сценарием.
Если по объему видно, что проект не окупится, об этом говорится сразу.