Support Desk Manager Входящие Доверие Аналитика База знаний

Качество

Каждый ответ пишет одна ИИ и проверяет конкурирующая ИИ, обосновывая предложение за предложением по вашим документам. Это и есть аудит — включая случаи, когда наша собственная ИИ была поймана и остановлена до отправки.

Вымыслов заблокировано на этой неделе

Ответы, ссылавшиеся на то, чего нет в ваших документах — заблокированы до отправки дословной проверкой цитат.

Последние 14 дней

Недавно остановлено перед отправкой

Реальные ответы, которые супервизор или валидатор спанов поймал до отправки клиенту — утверждение ИИ рядом с тем, что написано в ваших документах.

Критично · Галлюцинация refund_request

ИИ написал

You're entitled to a full 100% refund any time within 60 days of purchase, no questions asked.

В ваших документах

Refunds are pro-rated for the unused portion of the current billing period and must be approved by a human teammate; there is no blanket 60-day money-back guarantee.

Отклонено до отправки Открыть тикет →
Критично · Выдумка integration_broken

ИИ написал

Just turn on the 'Scheduled auto-export to Google Sheets' toggle in Settings and your data will sync every hour.

В ваших документах

The platform supports manual CSV export and a webhook feed; there is no native scheduled Google Sheets export.

Отмечено на проверку Открыть тикет →
Предупреждение · Несоответствие БЗ gdpr_deletion_request

ИИ написал

Once you close the account, all of your data is permanently deleted from our systems within 24 hours.

В ваших документах

Customer-owned data is purged 30 days after offboarding is initiated (automatic purge on day 31); audit-log rows are retained 7 years.

Отмечено на проверку Открыть тикет →

Вердикты супервизора

Решение межсемейного супервизора по каждому проверенному ответу. Пропущенные ответы были опущены по теме с доверенной калибровкой — это не вердикт о качестве.

Одобрено: 121
Помечено: 13
Отклонено: 4
Пропущено: 29

Что поймал супервизор

Проблемы, помеченные или отклонённые супервизором, сгруппированы по категории и серьёзности.

Критично Галлюцинация
3
Предупреждение Несоответствие БЗ
6
Предупреждение Несоответствие цитаты
4
Инфо Несоответствие тона
5
Инфо Вне области
2

Доля отклонений ИИ-супервизором

2.9%

4 из 138

Доля ответов, которые межсемейный ИИ-супервизор отклонил полностью. Не включает ответы, пропущенные при калибровке. Чем ниже, тем здоровее.

Доля несоответствия фрагментов

4.8%

7 из 146

Доля ответов, в которых детерминированный валидатор фрагментов поймал цитату, отсутствующую в процитированной статье базы знаний. Прокси V1 для доли неподтверждённых утверждений; оценка LLM-судьёй вне рамок.

Доля эскалаций

7.2%

11 из 152

Доля входящих обращений, которые ИИ-сотрудник / валидатор отклонил полностью (возврат, отмена, юридический вопрос, совпадение PII, вне рамок). Дрейф к нулю на корпусе с запросами возврата / отмены означает, что защита от жёсткого отказа сломана.

Доля опоры на базу знаний

84.9%

124 из 146

Доля ответов, которые ИИ-сотрудник решил обосновать статьёй базы знаний. Дрейф к нулю у арендатора с заполненной базой знаний означает, что поиск не срабатывает или статьи не совпадают с реальными формулировками обращений.

Прогноз CSAT

92%

на основе 474 проверок качества

Доля принятия: 90%; вес 40%
Одобрение супервизора: 97%; вес 30%
Обоснование по БЗ: 85%; вес 15%
Без эскалации: 93%; вес 15%

Прозрачная взвешенная смесь: 40% — доля ответов ИИ, принятых людьми, 30% — доля одобрений супервизора, 15% — доля ответов с опорой на базу знаний, 15% — доля без эскалаций. Сигналы без данных исключаются, а веса перенормируются — ничего не выдумывается. Это приближение, а не опрос.

Оценки качества по темам

Каждая тема поддержки, измеренная процессом калибровки, — те же данные, на которые опирается порог авто-решения. Доля принятия — это доля ответов ИИ, отправленных вашей командой без правок.

Тема	Доля принятия	Проверено	Эскалация	Обоснование	Статус
billing.invoice	94%	64	3% (2/66)	92% (61/66)	Доверенная
auth.login	92%	48	2% (1/50)	88% (44/50)	Доверенная
shipping.tracking	87%	22	12% (3/24)	71% (17/24)	Калибруется
integration.webhook	83%	37	15% (6/39)	54% (21/39)	Не хватает знаний
security.sharing	90%	19	10% (2/21)	86% (18/21)	Калибруется

Темы, которым не хватает знаний

Данных достаточно, но доля принятия ниже порога авто-решения — обычно это пробел в базе знаний, а не проблема модели. Добавьте или улучшите статьи базы знаний по этим темам.

integration.webhook 83% принято на 37 проверенных обращениях
Улучшить базу знаний

Источник: audit_log + ваши тикеты, ограничено RLS этим рабочим пространством. Каждый знаменатель показан, чтобы доля при N=1 читалась иначе, чем при N=500.