Любое демо AI-агента показывает счастливый путь. Клиент задаёт понятный вопрос, агент отвечает верно, все кивают. Интересен другой вопрос: что агент делает, когда не знает?
Предоставленная сама себе, языковая модель ответит всё равно. Она отлично умеет производить текст, который звучит ровно как правильный ответ. Для клиента, читающего его в WhatsApp в девять вечера, нет никакой видимой разницы между «стандартная установка — четыре недели», взятой из вашего прайса, и той же фразой, придуманной на ходу.
Почему это не мелкий баг
Неверный ответ живого сотрудника — ошибка. Неверный ответ вашего автоматического канала — обязательство, произнесённое голосом компании, в масштабе и с отметкой времени. Мы видели названные цены, которых не существовало, подтверждённую запись на занятый слот и — то, из-за чего мы осторожны, — клиническую рекомендацию от бота записи, который не имел на неё никакого права.
Правило
Каждый агент STEMD построен вокруг одного ограничения, которое не обсуждается и не настраивается: цены, условия, наличие, медицинские и юридические формулировки берутся только из утверждённых источников компании. Не из обучения модели. Не из правдоподобного вывода. Из вашего прайса, вашего календаря, ваших утверждённых документов.
А когда в источнике ответа нет, агент делает то, что на демо выглядит наименее эффектно и в проде значит больше всего: говорит, что не знает, и передаёт разговор человеку — вместе со всем контекстом, чтобы тот не начинал с нуля.
Как мы это измеряем
Эскалация — не провал агента. Это агент, который работает. Поэтому у каждого агента доля эскалаций стоит в его показателях наравне со временем ответа и долей квалифицированных. Агент, который не эскалирует никогда, — не хороший агент, а агент, переставший признавать неуверенность. Ровно с этого момента он начинает выдумывать.
Это чего-то стоит. Более осторожный агент закрывает без человека меньшую долю разговоров. Мы считаем этот размен очевидно правильным: ценность автоматического канала в том, что клиент может доверять сказанному. Потратьте это доверие один раз — и канал станет дешевле телефона, который он заменил.