Протестируйте агента до запуска в работу

Агент, который месяц назад отвечал хорошо, может начать отвечать плохо после правки промпта или изменения его знаний. Страница оценки замечает это раньше, чем ваши посетители: вы храните набор тестовых вопросов, прогоняете их на черновике агента и решаете, что неудачный прогон означает для деплоя.

Соберите эталонный набор#

Откройте Evaluation в консоли и выберите агента. Каждый кейс — это вопрос и хотя бы одно ожидание:

• expected answer — ответ, который оценивается по смыслу, а не по точной формулировке,
• ответ, который агент никогда не должен повторить (подтверждённая прошлая ошибка),
• или то, как он должен себя повести: сослаться на ваши документы, передать разговор человеку или отказаться отвечать.

Кейс без ожиданий не может провалиться, поэтому редактор его не сохранит.

Самый быстрый путь к полезному набору: нажмите Import confirmed-wrong reports. Каждый ответ, который ваши проверяющие подтвердили как неверный на странице Answer feedback, становится кейсом, который агент не должен повторять, вместе с исходным вопросом посетителя. Повторный импорт безопасен: существующие кейсы пропускаются и никогда не перезаписываются, поэтому ваши правки сохраняются.

Запустите его#

Run the set задаёт каждый вопрос черновику агента — с его собственными инструкциями и знаниями, — а автоматический судья оценивает каждый ответ. Сохранённый прогон показывает для каждого кейса, пройден он или провален, почему он провалился и что изменилось с прошлого прогона: какие кейсы начали проваливаться, какие восстановились, какие были добавлены.

Прогоны хранятся вечно, поэтому на вопрос «что эта версия проходила до выхода в работу» всегда есть ответ.

Решите, что означает провал#

Шлюз деплоя — это настройка уровня проекта с тремя положениями:

• Off: прогоны носят информационный характер.
• Warn: деплой поверх неудачного прогона проходит, но сообщает вам, какой прогон провалился.
• Block: деплой отклоняется, пока прогон не будет пройден или пока вы не понизите уровень шлюза.

Шлюз срабатывает только на действительно проваленном прогоне. Прогон, завершившийся ошибкой из-за проблемы в самом механизме проверки, никогда не заблокирует ваш деплой.

Следите за качеством в продакшене#

На этой же странице находятся оповещения о качестве проекта: потолок для доли галлюцинаций (ответов, не подкреплённых вашими документами; её измеряет автоматический судья на выборке реальных разговоров) и для доли перехватов разговора человеком. Когда показатель пересекает свой потолок, в настроенные вами каналы отправляется событие оповещения, а когда он возвращается в норму — ещё одно. Панель управления показывает те же числа: обоснованные ответы, отрицательные оценки и чаты, закрытые без участия человека.

Периодический отчёт о работе#

Operations report в консоли — это тот же отчёт о качестве, но за целый календарный период, который хранится как архивная запись, а не как живой индикатор.

Включите расписание, выберите ежемесячно или ежеквартально и добавьте адреса, на которые он должен приходить. В конце каждого периода отчёт формируется и отправляется по email в виде таблицы. Он также хранится здесь, поэтому вы можете прочитать или скачать его, не дожидаясь письма. Если адресов нет, отчёт всё равно формируется и сохраняется — просто никому не отправляется.

Каждый отчёт открывается главным показателем, вокруг которого он построен: долей чатов на сайте, которые завершились без того, чтобы кто-то попросил человека, а рядом с ней — целевое значение и отметка, достигнуто оно или нет. Под ним идёт весь проект целиком, а затем тот же набор чисел по каждому агенту: сколько разговоров обработано, сколько из них решено без эскалации, сколько ответов были подкреплены вашими документами, отрицательные оценки, как разговоры воспринимались от начала до конца, самая частая тема, сколько запросов звонящих совпали с настроенными вами намерениями и прогоны оценки за период.

Ждать конца периода не обязательно. Generate формирует отчёт за любой прошедший месяц или квартал по требованию и предлагает две кнопки: сформировать без отправки, чтобы сначала прочитать его, или сформировать и отправить на адреса из расписания.

Формирование по требованию ограничено несколькими отчётами в час. Каждый такой отчёт, прежде чем выдать результат, прочитывает все разговоры, оценки и прогоны оценки за период и отправляет таблицу по email, если вы не попросили этого не делать, — поэтому лимит и не даёт нескольким кликам превратиться в нагрузку на те же записи, с которыми работают ваши живые разговоры. Разобрать три месяца квартала за один присест — это с запасом внутри лимита. Если вы всё же достигнете его, консоль сообщит об этом и попросит подождать несколько минут; на отчёт по расписанию это никогда не влияет, потому что лимит действует только на формирование по требованию.

Каждое число в отчёте — это тот же расчёт, который читают панель управления и ваш собственный мониторинг. Период, упёршийся в лимит чтения, сообщает об этом в своей строке: числа тогда представляют собой нижнюю оценку по самым недавним разговорам, а не по всему периоду.

Когда оценка меняется, а агента никто не трогал#

Включите Drift detection рядом со шлюзом деплоя — и ваш эталонный набор будет перезапускаться за вас: по заданному вами расписанию и ещё раз всякий раз, когда меняются модели, стоящие за вашими звонками. Каждый прогон сравнивается с предыдущим прогоном того же агента, и вы получаете оповещение, когда оценка падает сильнее заданного вами предела.

Оно оповещает о падении, а не о нижнем пороге, и именно эта разница делает его пригодным для работы. Агент, который всегда набирал 60 процентов на намеренно сложном наборе, не дрейфует. Агент, набравший 92 вчера и 84 сегодня, — дрейфует, и только ради второго стоит кого-то будить.

Оповещение уходит в те же каналы, что и ваши оповещения о качестве, и называет кейсы, которые в прошлый раз были пройдены, а теперь проваливаются. В списке прогонов перезапуск указывает, почему он произошёл: по расписанию или потому, что изменились модели.

По умолчанию функция выключена, потому что каждый перезапуск стоит одного ответа агента и одного прохода оценивания на каждый вопрос в вашем наборе.