Тестируйте агента по сценариям

Откройте агента и перейдите на вкладку Testing (под вкладкой Advanced). Сценарий — это заранее написанный диалог: сообщения, которые отправил бы звонящий или посетитель сайта, и то, что агент должен сделать на каждом шаге. Запуски выполняются с реальными инструкциями и реальными инструментами агента — бронирование, сделанное в тесте, является настоящим бронированием в вашем календаре, поэтому направляйте сценарии на тестового участника и завершайте их шагом с отменой.

Не хотите писать сценарии вручную? Кнопка AI Assistant на вкладке Scenarios читает конфигурацию агента — его инструкции и инструменты — и составляет UAT-сценарии за вас. Добавьте необязательную строку с указаниями (например, «сосредоточиться на отменах по номеру телефона»), просмотрите черновики, отредактируйте любой из них и сохраните те, которые оставляете.

Как написать сценарий#

В каждом шаге есть сообщение пользователя и список проверок:

• tool — агент должен вызвать этот инструмент (например, check_availability, прежде чем предложить время).
• args_contain — вызов инструмента должен содержать эти значения аргументов.
• tool_result_contains — результат инструмента должен содержать этот текст (например, Booked).
• reply_contains / reply_not_contains — ответ агента должен (или не должен) содержать этот текст.
• no_tool — на этом шаге не должно использоваться ни одного инструмента.

Напишите {{last_uid}} в одном из последующих сообщений, чтобы сослаться на бронирование, созданное ранее в том же запуске, — это удобно для шагов вида «отмени эту встречу».

Задайте в сценарии caller_phone, чтобы смоделировать номер, с которого звонит клиент: тогда агент сможет найти его существующие бронирования по телефону (инструмент find_bookings) — так же, как настоящий звонок распознаёт номер звонящего.

Каналы#

• chat ведёт себя как веб-виджет: инструменты, доступные только в звонке, скрыты.
• voice ведёт себя как телефонный звонок: агента просят давать короткие ответы и никогда не диктовать адреса электронной почты по буквам. Сам звук при этом не моделируется — проверяется то, какие решения принимает агент.

Запуск#

Нажмите Run — и вы получите полную расшифровку: каждый вызов инструмента с его аргументами и результатом, ответ агента и каждую проверку с отметкой «пройдена» или «не пройдена». Вкладка разделена на Scenarios, Run history и Reports: выберите в Reports интересующие вас сценарии, чтобы получить сводку по доле успешных прохождений с подробностями последней расшифровки, и экспортируйте её в файл Excel или PDF. Те же сценарии можно создавать и запускать из собственного кода через API — см. Справочник API, раздел Agent testing.