Qualité
Chaque réponse est rédigée par une IA et auditée par une IA rivale, ancrée phrase par phrase dans vos documents. Voici l'audit — y compris les fois où notre propre IA a été prise et arrêtée avant l'envoi.
Inventions bloquées cette semaine
7
Réponses citant quelque chose qui n'est pas dans vos documents — bloquées avant l'envoi par la vérification textuelle.
Récemment bloqué avant envoi
De vraies réponses que le superviseur ou le validateur de citations a interceptées avant qu'elles n'atteignent un client — l'affirmation de l'IA face à ce que disent vos documents.
-
Critique · Hallucination refund_request
- L'IA a écrit
- You're entitled to a full 100% refund any time within 60 days of purchase, no questions asked.
- Vos documents disent
- Refunds are pro-rated for the unused portion of the current billing period and must be approved by a human teammate; there is no blanket 60-day money-back guarantee.
Refusé avant envoi Voir le ticket → -
Critique · Invention integration_broken
- L'IA a écrit
- Just turn on the 'Scheduled auto-export to Google Sheets' toggle in Settings and your data will sync every hour.
- Vos documents disent
- The platform supports manual CSV export and a webhook feed; there is no native scheduled Google Sheets export.
Signalé pour révision Voir le ticket → -
Avertissement · Écart KB gdpr_deletion_request
- L'IA a écrit
- Once you close the account, all of your data is permanently deleted from our systems within 24 hours.
- Vos documents disent
- Customer-owned data is purged 30 days after offboarding is initiated (automatic purge on day 31); audit-log rows are retained 7 years.
Signalé pour révision Voir le ticket →
Verdicts du superviseur
La décision du superviseur inter-familles sur chaque réponse examinée. Les réponses ignorées ont été élidées sur un sujet fiable par calibration — pas un verdict de qualité.
- Approuvé
- 121
- Signalé
- 13
- Refusé
- 4
- Ignoré
- 29
Ce que le superviseur a détecté
Problèmes signalés ou refusés par le superviseur, regroupés par catégorie et gravité.
-
Critique Hallucination3
-
Avertissement Écart KB6
-
Avertissement Écart de citation4
-
Info Écart de ton5
-
Info Hors périmètre2
Taux de rejet du superviseur
2.9%
4 sur 138
Fraction des réponses que le superviseur inter-familles a rejetées d'emblée. Exclut les réponses ignorées au calibrage. Plus c'est bas, plus c'est sain.
Taux de non-correspondance d'extrait
4.8%
7 sur 146
Fraction des réponses dont le validateur d'extrait déterministe a intercepté une citation qui n'apparaît pas dans l'article de base de connaissances cité. Approximation V1 du taux d'affirmations non étayées ; l'évaluation par juge LLM est hors périmètre.
Taux d'escalade
7.2%
11 sur 152
Fraction des tickets entrants que l'employé / le validateur a refusés d'emblée (remboursement, annulation, juridique, correspondance de données personnelles, hors périmètre). Une dérive vers zéro sur un corpus comportant des demandes de remboursement / annulation signifie que le garde-fou de refus strict est cassé.
Taux d'ancrage à la base de connaissances
84.9%
124 sur 146
Fraction des réponses que l'employé a choisi d'ancrer dans un article de base de connaissances. Une dérive vers zéro sur un locataire dont la base de connaissances est peuplée signifie que la récupération échoue ou que les articles ne correspondent pas à la formulation réelle des tickets.
CSAT prévu
92%
basé sur 474 échantillons de qualité
- Taux d'acceptation
- 90%
- poids de 40%
- Approbation du superviseur
- 97%
- poids de 30%
- Ancrage KB
- 85%
- poids de 15%
- Non-escalade
- 93%
- poids de 15%
Combinaison pondérée transparente : 40 % taux d'acceptation humaine des réponses IA, 30 % taux d'approbation du superviseur, 15 % taux d'ancrage à la base de connaissances, 15 % taux de non-escalade. Les signaux sans données sont exclus et les poids renormalisés — rien n'est inventé. Une approximation, pas une enquête.
Scores QA par sujet
Chaque sujet de support mesuré par le travail de calibration — les mêmes données que lit la barrière de résolution automatique. Le taux d'acceptation est la part des réponses IA que votre équipe a envoyées sans modification.
| Sujet | Taux d'acceptation | Tendance | Relus | Escalade | Ancrage | Statut |
|---|---|---|---|---|---|---|
| billing.invoice | 94% | 64 | 3% (2/66) | 92% (61/66) | Fiable | |
| auth.login | 92% | 48 | 2% (1/50) | 88% (44/50) | Fiable | |
| shipping.tracking | 87% | 22 | 12% (3/24) | 71% (17/24) | En calibration | |
| integration.webhook | 83% | 37 | 15% (6/39) | 54% (21/39) | Connaissances à compléter | |
| security.sharing | 90% | 19 | 10% (2/21) | 86% (18/21) | En calibration |
Sujets nécessitant des connaissances
Assez de données, mais le taux d'acceptation reste sous le seuil de résolution automatique — le plus souvent une lacune de la base de connaissances, pas un problème de modèle. Ajoutez ou améliorez les articles de la base de connaissances pour ces sujets.
-
integration.webhook 83 % acceptés sur 37 tickets relusAméliorer la base de connaissances
Source : audit_log + vos tickets, limités par RLS à cet espace. Chaque dénominateur est affiché pour qu'un taux à N=1 se lise différemment de N=500.