SEO OS: от поискового сигнала к понятному действию

Метрики маркетинга учат команду принимать плохие решения

Metric Sherpa и Sprinklr: 92% компаний довольны ИИ в работе с клиентами, а доказать результат смогли 27%. Почему без базового замера эффекта нет.

AI-маркетинг · Новости

Все новости
AG Branding
Отчёт исследования Metric Sherpa и Sprinklr про измерение эффекта ИИ в маркетинге

Компания Metric Sherpa вместе со Sprinklr опросила организации, которые уже используют ИИ в работе с клиентами. 92% респондентов сказали, что система оправдала ожидания или превзошла их. Показать доказательство смогли 27%. Остальные верят в результат, но не могут его предъявить ни совету директоров, ни финдиректору.

Разрыв не в качестве моделей. Он в подготовке. Участники опроса запускали ИИ без точки отсчёта, без метрики успеха и без человека, который отвечает за итог.

Цифры отчёта

99% назвали желаемый результат. 26% сформулировали метрику успеха. 10% записали базовый уровень до запуска. Только эти 10% могли потом сравнить «до» и «после».

Что ломается на старте

Исследователи описывают типичный порядок действий: команда понимает, что хочет ускорить ответы клиентам, ставит чат-бота, а потом ищет, как объяснить эффект. К этому моменту исходных данных уже нет.

Возьмём снижение стоимости привлечения. Чтобы его посчитать, нужна стоимость заявки до того, как алгоритм начал распределять бюджет. Для службы поддержки мало показателя «решено без оператора»: нужны данные по повторным обращениям, переводам на человека и времени до закрытия. Всё это собирают до запуска, а не после.

67% тех, у кого работа стала быстрее, заявили и о снижении затрат. Из этой группы 32% фиксировали расходы до внедрения. Остальные оценивали экономию на глаз.

Платформа сама себе выставляет оценку

Без своей системы измерений команда опирается на цифры вендора. Рекламная платформа показывает рост конверсии, сервисная - долю автоматических ответов, контентная система - вовлечённость. Каждая растёт, а бизнес-результат стоит на месте.

65% респондентов отметили улучшение хотя бы по одному показателю, который до запуска не отслеживали. Исследователи не смогли сказать, когда именно появился этот замер. Но сам факт показателен: команда узнала о результате от инструмента, который за него отвечает.

За результат никто не отвечает

Самой редкой практикой из восьми оказалось назначение владельца бизнес-результата: 17%. Владелец платформы следит за работоспособностью, владелец процесса - за тем, чтобы задача доходила до конца. Отвечает за итог ни один из них.

Там, где такой человек назначен, компания в 46% случаев могла посчитать результат. Без него - в 23%. Такие организации чаще ставили контрольные тесты и сверялись с финансовой отчётностью. Отчёт не доказывает причинность, но связь крупная, почти двукратная.

Точный замер делает ИИ хуже на вид

Компании, которые используют три и больше практик измерения, чаще сообщали о проблемах с передачей дел от ИИ сотруднику, о низком освоении инструмента и о грязных данных. Отчёт не уточняет, что здесь причина: строгий замер вскрыл проблемы или сложные проекты сами их породили.

Практический вывод один. Если после включения автоматизации команда видит больше сбоев, это может быть признаком работающего контроля, а не деградации. Смотреть стоит на места, где люди переигрывают рекомендации ИИ, где клиент повторяет один и тот же вопрос и где метрика идёт против бизнеса.

Заранее решите, когда остановить эксперимент

Критерии, по которым решают масштабировать, менять или закрыть внедрение, есть у 28% компаний. Регулярно сверяют результаты 37%.

Для одного процесса достаточно четырёх строк: какой итог нужен, какая цифра стоит сейчас, какой порог считаем успехом и с чем сравниваем. Дальше - условия: при каком результате масштабируем, при каком переделываем, при каком закрываем. Такая записка на полстраницы экономит месяцы споров, особенно когда бюджет на подрядчиков ограничен. Для компании во Владивостоке с небольшим маркетинговым бюджетом это самый дешёвый шаг перед внедрением искусственного интеллекта: сначала замер, потом сервис.

Читайте также