Support Desk Manager Caixa de entrada Confiança Análises Base de conhecimento

Qualidade

Cada resposta é escrita por uma IA e auditada por uma IA rival, fundamentada frase a frase nos seus documentos. Esta é a auditoria — incluindo as vezes em que a nossa própria IA foi apanhada e parada antes do envio.

Invenções bloqueadas esta semana

Respostas que citavam algo que os seus documentos não dizem — bloqueadas antes do envio pela verificação textual.

Últimos 14 dias

Bloqueado recentemente antes de enviar

Respostas reais que o supervisor ou o validador de citações intercetou antes de chegarem a um cliente — a afirmação da IA ao lado do que dizem os seus documentos.

Crítico · Alucinação refund_request

A IA escreveu

You're entitled to a full 100% refund any time within 60 days of purchase, no questions asked.

Os seus documentos dizem

Refunds are pro-rated for the unused portion of the current billing period and must be approved by a human teammate; there is no blanket 60-day money-back guarantee.

Recusado antes de enviar Ver ticket →
Crítico · Invenção integration_broken

A IA escreveu

Just turn on the 'Scheduled auto-export to Google Sheets' toggle in Settings and your data will sync every hour.

Os seus documentos dizem

The platform supports manual CSV export and a webhook feed; there is no native scheduled Google Sheets export.

Marcado para revisão Ver ticket →
Aviso · Divergência KB gdpr_deletion_request

A IA escreveu

Once you close the account, all of your data is permanently deleted from our systems within 24 hours.

Os seus documentos dizem

Customer-owned data is purged 30 days after offboarding is initiated (automatic purge on day 31); audit-log rows are retained 7 years.

Marcado para revisão Ver ticket →

Veredictos do supervisor

A decisão do supervisor de família cruzada sobre cada resposta revista. Respostas ignoradas foram elididas num tópico confiável por calibração — não é um veredicto de qualidade.

Aprovado: 121
Sinalizado: 13
Recusado: 4
Ignorado: 29

O que o supervisor detetou

Problemas que o supervisor sinalizou ou recusou, agrupados por categoria e gravidade.

Crítico Alucinação
3
Aviso Divergência KB
6
Aviso Divergência de citação
4
Info Divergência de tom
5
Info Fora do âmbito
2

Taxa de rejeição do supervisor

2.9%

4 de 138

Fração de respostas que o supervisor de IA de família cruzada rejeitou de imediato. Exclui respostas ignoradas na calibração. Quanto menor, mais saudável.

Taxa de incompatibilidade de trecho

4.8%

7 de 146

Fração de respostas cujo validador determinístico de trechos detectou uma citação que não aparece no artigo citado da base de conhecimento. Proxy da V1 para a taxa de afirmações sem suporte; a avaliação por LLM-juiz está fora de escopo.

Taxa de escalonamento

7.2%

11 de 152

Fração de tickets de entrada que o funcionário de IA / validador recusou de imediato (reembolso, cancelamento, jurídico, correspondência de PII, fora de escopo). Cair a zero em um corpus com pedidos de reembolso / cancelamento significa que a proteção de recusa rígida está quebrada.

Taxa de ancoragem na base de conhecimento

84.9%

124 de 146

Fração de respostas que o funcionário de IA optou por ancorar em um artigo da base de conhecimento. Cair a zero em um tenant com base de conhecimento populada significa que a recuperação está falhando ou os artigos não correspondem ao fraseado real dos tickets.

CSAT previsto

92%

com base em 474 amostras de qualidade

Taxa de aceitação: 90%; 40% de peso
Aprovação do supervisor: 97%; 30% de peso
Fundamentação KB: 85%; 15% de peso
Sem escalonamento: 93%; 15% de peso

Combinação ponderada transparente: 40% taxa de aceitação humana das respostas de IA, 30% taxa de aprovação do supervisor, 15% taxa de ancoragem na base de conhecimento, 15% taxa de não escalonamento. Sinais sem dados são excluídos e os pesos renormalizados — nada é inventado. Uma aproximação, não uma pesquisa.

Pontuações QA por tópico

Cada tópico de suporte medido pelo processo de calibração — a mesma evidência que o portão de resolução automática lê. A taxa de aceitação é a parcela de respostas de IA que sua equipe enviou sem alterações.

Tópico	Taxa de aceitação	Revisados	Escalonamento	Fundamentação	Status
billing.invoice	94%	64	3% (2/66)	92% (61/66)	Confiável
auth.login	92%	48	2% (1/50)	88% (44/50)	Confiável
shipping.tracking	87%	22	12% (3/24)	71% (17/24)	Em calibração
integration.webhook	83%	37	15% (6/39)	54% (21/39)	Falta conhecimento
security.sharing	90%	19	10% (2/21)	86% (18/21)	Em calibração

Tópicos que precisam de conhecimento

Evidência suficiente, mas a taxa de aceitação está abaixo da barra de resolução automática — geralmente uma lacuna de conhecimento, não um problema do modelo. Adicione ou melhore artigos da base de conhecimento para esses tópicos.

integration.webhook 83% aceitos em 37 tickets revisados
Melhorar a base de conhecimento

Fonte: audit_log + os seus tickets, com âmbito RLS a este espaço. Cada denominador é mostrado para que uma taxa com N=1 se leia de forma diferente de N=500.