Как посчитать эффект от ИИ до старта проекта

Посчитать эффект от ИИ до старта проекта можно, и занимает это несколько дней. Сложность не в формуле, а в том, что обычно считают не то. Берут экономию минут из демо, умножают на зарплату и получают окупаемость за три месяца, которая потом не подтверждается.

Ниже методика, по которой мы считаем сами. Базовая линия, стоимость операции, пилот с контрольной группой, скрытые затраты и формула окупаемости на условном примере.

Почему расчеты эффекта от ИИ не сходятся

• Считают время модели, а не время процесса. Модель отвечает за секунды, но человек все равно читает ответ, проверяет и правит. Экономия — это разница во времени сотрудника, а не скорость генерации.
• Забывают про проверку. Даже хороший ответ кто-то прочитал, прежде чем отправить. Эта минута на каждую операцию остается навсегда, если ошибка стоит дорого.
• Меряют на удачных примерах. Демо собирают на случаях, где все работает. В реальном потоке есть кривые сканы, письма без темы и клиенты, которые пишут три сообщения вместо одного.
• Путают часы и деньги. Если освободившиеся часы никуда не ушли, экономия осталась на бумаге. Подробнее этот эффект разобран в статье о том, с чего начинать автоматизацию процессов.

Шаг 1. Замерить базовую линию

Прежде чем что-то менять, нужно зафиксировать, как работа идет сейчас. Не по регламенту и не по ощущениям, а по реальным случаям за последний месяц.

• Частота. Сколько раз в месяц происходит операция. Берется из системы, почты или журнала, а не «примерно сто в день».
• Время на одну операцию. Замеряется на двадцати-тридцати реальных случаях, включая сложные. Среднее только по удачным случаям занижает цифру.
• Стоимость часа. Зарплата с налогами и взносами, деленная на рабочие часы. Точность до рубля не нужна, нужен порядок.
• Доля ошибок. Сколько операций переделывают или исправляют потом. Видно по возвратам, претензиям, повторным обращениям.
• Цена ошибки. Во что обходится одна ошибка — переделка, скидка клиенту, потерянный заказ. Иногда эта строка перекрывает всю экономию времени.

Есть еще одна цифра, которую часто забывают, — время ожидания. Если заявка лежит полдня, пока ее разберут, ускорение разбора может стоить больше экономии минут. Особенно это заметно в отделе продаж, где клиент, не получивший ответа, уходит к конкуренту.

Шаг 2. Посчитать стоимость операции

Из базовой линии получается главная цифра — сколько стоит одна операция сейчас.

Стоимость операции = время на операцию × стоимость часа + доля ошибок × цена ошибки.

Умножив ее на частоту, получаем месячные затраты. Это верхняя граница того, что вообще можно сэкономить. Если она маленькая, дальше можно не считать — проект не окупится, какая бы модель ни стояла внутри.

Шаг 3. Пилот с контрольной группой

Оценку до старта нужно проверить на реальном потоке. Самый надежный способ — пилот, в котором часть работы идет с ИИ, а часть по-старому.

1. Разделить поток. Часть заявок или часть сотрудников работает с ИИ, остальные как раньше. Делить лучше случайно, а не «лучшим отдадим новое», иначе сравнение покажет разницу между людьми, а не эффект системы.
2. Работать в режиме подсказки. Модель готовит результат, человек принимает или правит. Автоматических действий на пилоте нет.
3. Считать то же, что в базовой линии. Время на операцию, долю ошибок, время ожидания. В обеих группах, за один и тот же период.
4. Отдельно считать долю принятых без правок. Это главная цифра пилота — реальная часть работы, которую забрала модель.
5. Держать пилот несколько недель. Первые дни люди учатся и работают медленнее, потом привыкают и начинают проверять небрежнее. Нужно захватить оба эффекта.

Контрольная группа нужна потому, что за время пилота меняется все остальное. Сезон, поток, состав команды. Без нее рост, который приписали ИИ, может оказаться сезонным.

Шаг 4. Учесть скрытые затраты

Формула окупаемости на условном примере

Эффект в месяц = затраты на операцию сейчас − (проверка и правки людьми + работа модели + сопровождение).

Срок окупаемости = стоимость разработки ÷ эффект в месяц.

Операция — ответы на входящие обращения клиентов. Условно 3 000 обращений в месяц, по 6 минут на каждое, час сотрудника с налогами стоит 600 ₽. Ручная обработка занимает 300 часов и стоит 180 000 ₽ в месяц.

По итогам пилота условно 70% ответов принимаются без правок, на их проверку уходит минута. Остальные 30% приходится править, это 4 минуты на обращение. Проверка и правки вместе занимают 95 часов, то есть 57 000 ₽.

Работа модели — условно 3 вызова на обращение по 2 ₽, это 18 000 ₽ в месяц. Сопровождение — условно 25 000 ₽ в месяц.

Эффект получается 180 000 − 57 000 − 18 000 − 25 000 = 80 000 ₽ в месяц. При условной стоимости разработки 800 000 ₽ проект окупается за 10 месяцев.

Теперь поменяем одну цифру. Пусть без правок принимается не 70%, а 40% ответов. Проверка и правки вырастают до 140 часов, или 84 000 ₽. Эффект падает до 53 000 ₽, и окупаемость растягивается примерно до 15 месяцев.

Отсюда главный вывод. Доля принятых без правок двигает окупаемость сильнее, чем цена модели. Поэтому пилот меряет именно ее, а выбор между моделями почти всегда сводится к тому, какая дает эту долю выше на ваших данных. Как сравнивать кандидатов, разобрали в статье о том, какую языковую модель выбрать бизнесу.

И последняя поправка. 80 000 ₽ в месяц — это освободившиеся часы. Деньгами они становятся, только если люди переходят на другую работу или при росте потока не приходится нанимать новых.

Когда проект не окупится

• Операция редкая. Несколько десятков случаев в месяц не окупят ни разработку, ни сопровождение.
• Проверка стоит как ручная работа. Если ошибка настолько дорогая, что каждый ответ нужно перепроверять с тем же усилием, модель ничего не экономит.
• Правило записывается формулой. Расчет по таблице или маршрутизация по условиям дешевле и надежнее в обычном коде. Где проходит граница, разобрали в статье про ИИ-автоматизацию бизнес-процессов.
• Операция нигде не фиксируется. Нет данных для базовой линии, нет и данных для модели. Сначала нужен учет — об этом статья о том, когда пора делать систему учета вместо Excel.

Расчет эффекта — первый шаг в нашей работе по внедрению ИИ. Весь порядок работ, от выбора задачи до масштабирования, описан в пошаговом плане внедрения ИИ.

Частые вопросы

Что делать, если базовую линию замерить нечем

Замерить вручную на выборке. Двадцать-тридцать реальных случаев с секундомером и журналом дают достаточно точную цифру для решения. Идеальная точность здесь не нужна, нужен порядок величин.

Можно ли посчитать эффект без пилота

Можно получить оценку, но не цифру для решения. До пилота неизвестна главная переменная — доля принятых без правок. Поэтому расчет до пилота мы делаем вилкой. При какой доле проект окупается за приемлемый срок, а при какой нет.

Как учесть качество, а не только время

Через цену ошибки. Если модель снижает долю ошибок, это считается так же, как экономия времени — частота умножается на цену случая. Если повышает, разница вычитается из эффекта.

Что входит в стоимость разработки

Подготовка данных, интеграции, интерфейс, проверки и замеры качества. Модель обычно самая дешевая часть. Подробный разбор — в статье о том, сколько стоит внедрить ИИ в компанию.

Дальше по теме