Будь-яке демо AI-агента показує щасливий шлях. Клієнт ставить зрозуміле питання, агент відповідає правильно, усі кивають. Цікаве інше питання: що агент робить, коли не знає?
Полишена сама на себе, мовна модель відповість усе одно. Вона чудово вміє продукувати текст, який звучить рівно як правильна відповідь. Для клієнта, що читає його у WhatsApp о дев’ятій вечора, немає жодної видимої різниці між «стандартне встановлення — чотири тижні», взятим із вашого прайсу, і тією ж фразою, вигаданою на ходу.
Чому це не дрібний баг
Хибна відповідь живого співробітника — помилка. Хибна відповідь вашого автоматичного каналу — зобов’язання, вимовлене голосом компанії, у масштабі й з відміткою часу. Ми бачили названі ціни, яких не існувало, підтверджений запис на зайнятий слот і — те, через що ми обережні, — клінічну рекомендацію від бота запису, який не мав на неї жодного права.
Правило
Кожен агент STEMD побудований навколо одного обмеження, яке не обговорюється і не налаштовується: ціни, умови, наявність, медичні та юридичні формулювання беруться лише із затверджених джерел компанії. Не з навчання моделі. Не з правдоподібного висновку. З вашого прайсу, вашого календаря, ваших затверджених документів.
А коли в джерелі відповіді немає, агент робить те, що на демо виглядає найменш ефектно і в проді важить найбільше: каже, що не знає, і передає розмову людині — разом з усім контекстом, щоб та не починала з нуля.
Як ми це вимірюємо
Ескалація — не провал агента. Це агент, який працює. Тому в кожного агента частка ескалацій стоїть у його показниках нарівні з часом відповіді та часткою кваліфікованих. Агент, який не ескалює ніколи, — не хороший агент, а агент, що перестав визнавати непевність. Рівно з цього моменту він починає вигадувати.
Це чогось коштує. Обережніший агент закриває без людини меншу частку розмов. Ми вважаємо цей розмін очевидно правильним: цінність автоматичного каналу в тому, що клієнт може довіряти сказаному. Витратьте цю довіру один раз — і канал стане дешевшим за телефон, який він замінив.