Support Desk Manager Caixa de entrada Confiança Relatório Conhecimento

Qualidade

Cada resposta é escrita por uma IA e auditada por uma IA rival, fundamentada frase a frase nos seus documentos. Esta é a auditoria — incluindo as vezes em que a nossa própria IA foi apanhada e parada antes do envio.

Invenções bloqueadas esta semana

Respostas que citavam algo que os seus documentos não dizem — bloqueadas antes do envio pela verificação textual.

Últimos 14 dias

Bloqueado recentemente antes de enviar

Respostas reais que o supervisor ou o validador de citações intercetou antes de chegarem a um cliente — a afirmação da IA ao lado do que dizem os seus documentos.

Crítico · Alucinação Pedidos de reembolso

A IA escreveu

You're entitled to a full 100% refund any time within 60 days of purchase, no questions asked.

Os seus documentos dizem

Refunds are pro-rated for the unused portion of the current billing period and must be approved by a human teammate; there is no blanket 60-day money-back guarantee.

Recusado antes de enviar Ver ticket →
Crítico · Invenção Integration broken

A IA escreveu

Just turn on the 'Scheduled auto-export to Google Sheets' toggle in Settings and your data will sync every hour.

Os seus documentos dizem

The platform supports manual CSV export and a webhook feed; there is no native scheduled Google Sheets export.

Marcado para revisão Ver ticket →
Aviso · Divergência KB Gdpr deletion request

A IA escreveu

Once you close the account, all of your data is permanently deleted from our systems within 24 hours.

Os seus documentos dizem

Customer-owned data is purged 30 days after offboarding is initiated (automatic purge on day 31); audit-log rows are retained 7 years.

Marcado para revisão Ver ticket →

Veredictos do supervisor

A decisão do revisor de IA independente sobre cada resposta revista — Claude Opus em tudo o que poderia sair sozinho ou toca um tema de risco, Claude Sonnet em rascunhos de rotina que você revisa. Respostas ignoradas foram elididas num tópico confiável por calibração — não é um veredicto de qualidade.

Aprovado: 121
Sinalizado: 13
Recusado: 4
Ignorado: 29

O que o supervisor detetou

Problemas que o supervisor sinalizou ou recusou, agrupados por categoria e gravidade.

Crítico Alucinação
3
Aviso Divergência KB
6
Aviso Divergência de citação
4
Info Divergência de tom
5
Info Fora do âmbito
2

Taxa de rejeição do supervisor

2.9%

4 de 138

Fração de respostas que o revisor de IA independente rejeitou de imediato (Claude Opus em tudo o que poderia sair sozinho ou toca um tema de risco, Claude Sonnet em rascunhos de rotina que você revisa). Exclui respostas ignoradas na calibração. Quanto menor, mais saudável.

Taxa de incompatibilidade de trecho

4.8%

7 de 146

Fração de respostas cujo validador determinístico de trechos detectou uma citação que não aparece no artigo citado da base de conhecimento. Proxy da V1 para a taxa de afirmações sem suporte; a avaliação por LLM-juiz está fora de escopo.

Taxa de escalonamento

7.2%

11 de 152

Fração de tickets de entrada que o funcionário de IA / validador recusou de imediato (reembolso, cancelamento, jurídico, correspondência de PII, fora de escopo). Cair a zero em um corpus com pedidos de reembolso / cancelamento significa que a proteção de recusa rígida está quebrada.

Taxa de ancoragem na base de conhecimento

84.9%

124 de 146

Fração de respostas que o funcionário de IA optou por ancorar em um artigo da base de conhecimento. Cair a zero em um tenant com base de conhecimento populada significa que a recuperação está falhando ou os artigos não correspondem ao fraseado real dos tickets.

CSAT previsto

92%

com base em 474 amostras de qualidade

Taxa de aceitação: 90%; 40% de peso
Aprovação do supervisor: 97%; 30% de peso
Fundamentação KB: 85%; 15% de peso
Sem escalonamento: 93%; 15% de peso

Combinação ponderada transparente: 40% taxa de aceitação humana das respostas de IA, 30% taxa de aprovação do supervisor, 15% taxa de ancoragem na base de conhecimento, 15% taxa de não escalonamento. Sinais sem dados são excluídos e os pesos renormalizados — nada é inventado. Uma aproximação, não uma pesquisa.

Pontuações QA por tópico

Cada tópico de suporte medido pelo processo de calibração — a mesma evidência que o portão de resolução automática lê. A taxa de aceitação é a parcela de respostas de IA que sua equipe enviou sem alterações.

Tópico	Taxa de aceitação	Revisados	Escalonamento	Fundamentação	Status
Pagamentos e faturas	94%	64	3% (2/66)	92% (61/66)	Confiável
Entrar na conta	92%	48	2% (1/50)	88% (44/50)	Confiável
Rastreamento do pedido	87%	22	12% (3/24)	71% (17/24)	Em calibração
Integration webhook	83%	37	15% (6/39)	54% (21/39)	Falta conhecimento
Security sharing	90%	19	10% (2/21)	86% (18/21)	Em calibração

Tópicos que precisam de conhecimento

Evidência suficiente, mas a taxa de aceitação está abaixo da barra de resolução automática — geralmente uma lacuna de conhecimento, não um problema do modelo. Adicione ou melhore artigos da base de conhecimento para esses tópicos.

Integration webhook 83% aceitos em 37 tickets revisados
Melhorar a base de conhecimento

Fonte: audit_log + os seus tickets, com âmbito RLS a este espaço. Cada denominador é mostrado para que uma taxa com N=1 se leia de forma diferente de N=500.