Модель выбрали, доказательств эффекта нет
92% хвалят ИИ, доказать эффект может 27%. Как считать результат внедрения ИИ до запуска и почему открытые веса меняют правила выбора модели.
Новости ИИ · Новости
Все новости
Компания Metric Sherpa вместе со Sprinklr опросила организации, которые уже используют ИИ в работе с клиентами. Девяносто два процента респондентов сказали, что система оправдала ожидания. Показать доказательство смогли двадцать семь процентов. Остальные верят в результат и не могут предъявить его ни совету директоров, ни финдиректору.
На той же неделе Mistral выложила на Hugging Face модель Large 4 на триллион параметров, которую внутри компании зовут Le Chonk. Веса открыты: скачать, дообучить, запустить на своих серверах может кто угодно. Два события смотрят в одну сторону. Моделей стало больше, а способности объяснить, что они дали бизнесу, больше не стало.
Что показал опрос
Разрыв между верой и доказательством вырос не из-за качества моделей. Цифры отчёта раскладываются по четырём шагам. Девяносто девять процентов назвали желаемый результат. Двадцать шесть процентов сформулировали метрику успеха. Десять процентов записали базовый уровень до запуска. Только эта десятая часть могла потом сравнить «до» и «после».
Типичный порядок действий исследователи описывают так: команда решает ускорить ответы клиентам, ставит чат-бота, а через месяц ищет, как объяснить эффект. К этому моменту исходных данных уже нет. Чтобы посчитать снижение стоимости привлечения, нужна стоимость заявки до того, как алгоритм начал распределять бюджет. Для службы поддержки мало показателя «решено без оператора»: нужны данные по повторным обращениям, переводам на человека и времени до закрытия.
- 92% говорят, что ИИ оправдал ожидания, доказать смогли 27%
- 99% назвали желаемый результат, 26% сформулировали метрику успеха
- 10% записали базовый уровень до запуска
- 17% назначили человека, отвечающего за бизнес-результат
- Там, где такой человек есть, результат смогли посчитать в 46% случаев; без него в 23%
Самой редкой практикой из восьми оказалось назначение владельца бизнес-результата. Владелец платформы следит за работоспособностью, владелец процесса за тем, чтобы задача доходила до конца. За итог не отвечает ни один из них. Разница почти двукратная, и это единственная связь в отчёте, которую видно без статистики.
Есть в отчёте и неудобная деталь. Компании, которые ввели три и больше практик измерения, чаще сообщали о проблемах: о сбоях при передаче дел от ИИ сотруднику, о низком освоении инструмента, о грязных данных. Причина не установлена. Строгий замер мог вскрыть проблемы, которые раньше не замечали. Практический вывод один: если после включения автоматизации команда видит больше сбоев, проверьте, не заработал ли контроль.
Почему модель уже не главный выбор
Large 4 не стала самой умной моделью мира. В индексе агентного кодинга Artificial Analysis у неё 48 баллов, у Claude Opus 5.5 там 62, у Gemini 4 Carbon 59. Разрыв около четырнадцати пунктов, и это честная цена открытых весов. Взамен Mistral даёт то, чего не даёт ни один закрытый вендор: модель лежит на вашем железе, и отключить её не сможет никто.
Цена тоже говорит сама за себя: 0,70 доллара за миллион входных токенов и 2,10 за миллион выходных, около десяти раз дешевле выходных токенов Opus 5.5. Модель построена по схеме Mixture-of-Experts, активных параметров около 52 млрд, поэтому обслуживание на своих серверах обходится умеренно. Отвечает более чем на 160 языках, поддерживает три режима размышления.
Агрессивнее всего Mistral продаёт Large 4 командам безопасности. «Её нельзя отключить», говорит Пьер Сток, вице-президент по науке Mistral, в разговоре с TechCrunch. Для банков и госструктур, которым нельзя отправлять код в чужое облако, это и есть смысл покупки. В том же разговоре есть и риск: компания признала, что видела потенциал для усиления реальных атак, и ужесточает ограничители. Отозвать веса из Hugging Face нельзя.
Как считать эффект до того, как ставить модель
Обе новости описывают одну процедуру, только с разных сторон. Открытые веса снимают зависимость от вендора, но не отвечают на вопрос, что изменилось в бизнесе. Ответить может только замер, начатый до первого запуска.
- Запишите метрику до внедрения. Не «ускорить ответы», а «среднее время до закрытия заявки в часах» с текущим значением и датой замера.
- Назначьте владельца результата. Не владельца платформы и не владельца процесса, а человека, который отвечает за цифру перед руководством.
- Соберите 20 задач из своей работы и правильные ответы к ним. Этот набор послужит и для выбора модели, и для проверки после запуска.
- Держите вторую модель в контуре. Открытая модель на своих серверах как раз и есть запасной вариант на случай смены цен или отключения доступа.
- Заранее решите, при каких цифрах эксперимент закрывают. Критерии остановки есть только у 28% компаний из опроса.
Что это значит для бизнеса
Выбор модели стал дешевле, а доказательство эффекта дороже. Модель на своих серверах стоит предсказуемо, и таких моделей теперь больше. Проблема в другом: без базового замера компания не отличит работающее внедрение от красивого отчёта вендора. Платформа покажет рост конверсии, сервисная система покажет долю автоматических ответов, бизнес-результат останется на месте.
Для компании во Владивостоке и на Дальнем Востоке это переводится в два действия на старте. Первое: зафиксировать исходные цифры по своему процессу, а не брать средние из отчёта. Второе: выбрать модель, которую можно держать на своём железе, если данные нельзя вывозить. Внедрение искусственного интеллекта начинается не с подписки, а с листа, где записано, как было до. Автоматизация бизнеса с помощью ИИ, у которой нет такой строки, через полгода упрётся в вопрос «а сколько мы на этом заработали» без ответа.
Порядок работ здесь короткий: замер, пилот на двух моделях, контрольная точка через месяц, решение по цифрам. Модель в этом списке стоит второй.
На бесплатном AI-аудите разберём ваш процесс, запишем базовые метрики и покажем, где внедрение искусственного интеллекта даст результат в первые недели, а где пока рано.
Получить бесплатный AI-аудит