Контроль качества AI

Инструменты, которые помогают следить за качеством ответов бота и постепенно делать их лучше.

Режимы работы AI

Настройки → Режим AI — что происходит с ответами бота на входящие сообщения гостей:

Активный режим — штатный: бот отвечает, сообщения уходят гостям.
Режим наблюдателя («теневой») — бот готовит ответы, но гостям они не отправляются: вы читаете черновики и решаете, готов ли бот к бою. Удобен на этапе внедрения и при подключении нового канала.
AI выключен — на все сообщения отвечают только операторы.

Эталонные ответы (раздел «Контроль качества AI»)

В разделе меню «Контроль качества AI» оператор просматривает диалоги и размечает ответы бота:

под каждым ответом — панель «Эталонный ответ»: если бот ответил неидеально, впишите, как должен был ответить оператор;
AI-предразметка подсказывает вердикт (корректно / требует внимания / ошибка) и предлагает исправленный вариант — можно принять одной кнопкой;
фильтры помогают разбирать очередь: «Не размечено», «Требует внимания», «Ошибки», кураторская выборка;
нерелевантные диалоги можно исключать из обучения.

Эти эталоны — «золотой стандарт» вашего объекта: на них платформа опирается при улучшении ответов бота.

Обучение и тестирование

Обучение AI — загрузка исторических диалогов с автоматической оценкой, каталог удачных и неудачных примеров, генерация обучающих диалогов.
Тестирование AI — автоматический прогон типовых диалогов по сценариям с оценками (скрыт по умолчанию; включается в Настройки → Меню).

Практический цикл качества

Запустили бота в режиме наблюдателя → почитали черновики → включили активный режим.
Раз в неделю разбирайте очередь «Не размечено» в «Контроле качества AI» — 15–20 минут.
Ошибки из-за нехватки фактов лечите базой знаний и Operational Messages, ошибки тона — вкладкой «AI-консьерж».