Meilleures pratiques en matière d'évaluation de l'IA

AI Scoring évalue les interactions uniquement à partir de la transcription de la conversation et du formulaire d'évaluation que vous fournissez.

Il n'utilise pas de métadonnées telles que :

• File d'attente ou chemin d'acheminement
• Horodatage ou durée
• Métriques de la plate-forme ou du système

La notation AI se concentre uniquement sur ce qui a été dit (ou écrit) - et non sur le ton, l'attitude ou le sens déduit.

Do

• Rédiger des questions objectives, basées sur la transcription.
• Fournir à un texte d'aide clair avec des critères mesurables.
• Utiliser une terminologie cohérente (par exemple, "agent" et "client").
• Écrivez sur des phrases complètes.
• Affiner les questions en permanence sur la base des résultats de l'évaluation de l'IA.

Ne pas

• Ask subjective questions (for example, “Was the agent polite?”).
• Utilisez l'abréviation vague (par exemple, "Greeting protocol").
• Assumez le contexte qui n'est pas visible dans la transcription.
• Posez des questions sur le ton ou l'émotion de que l'IA ne peut pas déduire.

La rédaction des questions d'évaluation notées par l'IA exige de la précision.
Le modèle d'IA ne peut pas déduire l'intention. Il doit trouver des preuves directes et mesurables dans la transcription.

Principe clé	Détails	Pourquoi cela est utile	Exemple de question et de texte d'aide	Mauvais exemple
Ancrage sur la base d'une transcription seulement	Ne demandez que ce qui peut être vérifié à partir du texte de la conversation.	Les questions restent mesurables et évitent les fausses hypothèses.	Q : L'agent a-t-il salué le client en utilisant une expression standard telle que "salut", "hello" ou "bonjour" ?	L'agent a-t-il eu l'air aimable lorsqu'il a accueilli le client ?
Rendre les comportements binaires ou spécifiques	Utilisez des réponses de type Oui/Non ou des réponses à choix multiples définies.	Réduit l'ambiguïté de la notation.	Texte d'aide : Oui = L'agent a salué le client en utilisant une phrase standard. Non = L'agent n'a pas salué ou a utilisé des termes peu clairs.	L'agent a-t-il été accueilli de manière appropriée ?
Utiliser des phrases complètes	Évitez la sténographie ou les phrases partielles.	L'IA interprète les phrases complètes avec plus de précision.	Q : L'agent a-t-il confirmé l'identité du client avant de lui fournir les détails du compte ?	"Vérification de l'identité".
Définir le champ d'application et les limites	Expliquer ce qui compte et ce qui ne compte pas.	Évite les erreurs de classification et les faux positifs.	Texte d'aide : Compter "Pouvez-vous confirmer votre date de naissance ?" Ne comptez pas la question "Quel est votre nom ?", à moins qu'elle ne soit liée à une vérification.	L'agent a-t-il vérifié le client ?
Faire en sorte qu'elle soit observable, et non émotionnelle	Se concentrer sur ce qui peut être vu ou lu.	Il assure la cohérence des évaluations.	Q : L'agent a-t-il reconnu le problème du client en utilisant une phrase telle que "Je suis désolé" ou "Je comprends" ?	L'agent a-t-il fait preuve d'empathie ?
Normaliser la terminologie	Utilisez les mêmes mots dans tout le formulaire.	Améliore la cohérence du modèle.	Utilisez toujours les termes "agent" et "client".	Mélange de "représentant", "client", "associé".
Fournir des exemples de transcription	Inclure de courts exemples Oui/Non.	Aide l'IA à reconnaître les expressions du monde réel.	Oui : "Je vous rembourserai ce montant." Non : "Nous allons nous pencher sur la question."	—
Concentrez-vous sur chaque question	Ne testez qu'un seul comportement par question.	Évite les résultats mitigés.	Q1 : L'agent a-t-il accueilli le client ? Q2 : L'agent a-t-il confirmé son identité ?	L'agent a-t-il accueilli le client sur et en confirmant son identité dès le début ?
Anticiper les variations de phrasé	Rédigez des textes souples et non des mots exacts.	Réduit le nombre de correspondances manquées.	"L'agent a-t-il vérifié l'identité à l'aide d'au moins un justificatif (par exemple, la date de naissance, le numéro de téléphone ou le numéro de compte) ?	"L'agent a-t-il demandé le numéro de compte ?
Aligner les questions sur les objectifs de l'entreprise	Reliez chaque question à la CX, à la conformité ou à l'efficacité.	Les évaluations restent significatives.	"L'agent a-t-il fourni des informations obligatoires ?	"L'agent a-t-il utilisé la langue de bois ?"

Chaque question doit comporter un texte d'aide court et mesurable (≤500 caractères) qui définit ce qui compte comme Oui ou Non, inclut des exemples et clarifie les cas limites.

Exemple : question et texte d'aide bien rédigés

Intention : Vérifier l'identité du client avant de lui fournir des informations spécifiques à son compte.

Question : L'agent a-t-il vérifié l'identité du client avant de lui fournir des informations spécifiques au compte ?

Texte d'aide : L'agent doit confirmer au moins un élément d'identification (par exemple, le numéro de compte, la date de naissance, le numéro de téléphone ou l'identifiant de commande).

• Oui : L'agent a vérifié un titre de compétence avant de poursuivre.
• Non : L'agent a omis de poser des questions ou a posé des questions sans rapport avec le sujet.

Exemples de transcription

✅	Client : "J'ai besoin de mettre à jour mes informations de facturation. Agent : "Puis-je confirmer les quatre derniers chiffres de votre numéro de compte ?"
❌	Client : "J'ai besoin de mettre à jour mes informations de facturation. Agent : "Bien sûr, quelle est la nouvelle adresse ?"

• Examiner mensuellement les rapports de notation de l'IA afin d'identifier les questions peu fiables.
• Ajoutez des exemples reflétant la phraséologie de votre secteur (par exemple, les soins de santé par rapport au commerce de détail).
• Aligner les évaluateurs humains sur les mêmes définitions que celles utilisées par l'IA.
• Affiner les questions et le texte d'aide lorsque l'IA classe mal les résultats.

Type d'erreur	Quand cela se produit	Comment résoudre le problème
Erreur de limite de vitesse	La limite quotidienne de 50 demandes de notation de l'IA par agent a été atteinte.	Répartissez les évaluations, réduisez le nombre de tentatives ou demandez une augmentation du quota.
Erreur de double évaluation	Un formulaire avec le même identifiant d'évaluateur et la même conversation existe déjà.	Vérifier les évaluations existantes avant la soumission. Utiliser un formulaire ou un identifiant d'évaluateur différent pour les réexamens.
Erreur de traitement	La conception des questions est trop vague ou trop complexe.	Réécrire les questions en utilisant des comportements mesurables uniquement dans la transcription.
Faible confiance en la question	L'IA est incertaine en raison d'une formulation ambiguë ou subjective.	Clarifier la formulation, ajouter des exemples et normaliser la terminologie.

Question :
L'agent a-t-il salué le client au début de la conversation en utilisant une formule de politesse standard telle que "salut", "hello" ou "bonjour" ?

Options de réponse :
Oui / Non

Texte d'aide :
L'agent doit commencer par une salutation polie. Les salutations acceptables sont "hi", "hello", "good morning" ou équivalent.

Exemple de transcription :
Client : "J'ai besoin d'aide pour mon compte".
Agent : "Bonjour ! Merci d'avoir appelé ABC Support".
→ AI marks Oui

Question :
L'agent a-t-il vérifié l'identité du client avant d'aborder les questions spécifiques au compte ?

Options de réponse :
Oui / Non

Texte d'aide :
L'agent doit vérifier au moins un élément d'identification du client, tel que sa date de naissance, son numéro de compte ou son numéro de téléphone, avant de poursuivre.

Exemple de transcription :
Client : "Je souhaite mettre à jour mon adresse de facturation.
Agent : "Puis-je confirmer les quatre derniers chiffres de votre numéro de compte ?"
→ AI marks Oui

Question :
L'agent a-t-il laissé le client s'exprimer sans l'interrompre ?

Options de réponse :
Oui / Non

Texte d'aide :
Une interruption se produit lorsque l'agent interrompt le client au milieu de sa phrase. Des clarifications après que le client a terminé sont acceptables.

Exemple de transcription :
Client : "Le problème a commencé quand..."
Agent : "Laissez-moi vous arrêter là..."
→ AI marks No

Question :
L'agent a-t-il utilisé le nom du client au moins une fois au cours de la conversation ?

Options de réponse :
Oui / Non

Texte d'aide :
L'utilisation du nom du client personnalise l'interaction. L'IA vérifie si le nom, tel qu'il figure dans l'enregistrement ou la conversation, a été mentionné.

Exemple de transcription :
Client : "Je suis Maria, et j'ai besoin d'aide pour ma commande."
Agent : "Merci, Maria. Jetons un coup d'œil à votre commande".
→ AI marks Oui

Question :
L'agent a-t-il reconnu le problème du client avant de passer à la résolution ?

Options de réponse :
Oui / Non

Texte d'aide :
L'empathie se manifeste lorsque l'agent reconnaît le problème par des phrases telles que "Je comprends", "Je suis désolé de ce qui s'est passé" ou "Je sais que cela doit être frustrant". L'IA cherche à obtenir un accusé de réception avant de résoudre le problème.

Exemple de transcription :
Client : "J'ai été surtaxé."
Agent : "Je suis désolé de l'apprendre. Examinons ensemble votre facture".
→ AI marks Oui

Question :
L'agent a-t-il proposé une solution claire, telle qu'un remboursement, un remplacement ou des instructions de dépannage ?

Options de réponse :
Oui / Non

Texte d'aide :
Une résolution doit inclure une action spécifique (remboursement, remplacement ou mesures techniques). Les excuses générales qui ne sont pas accompagnées de mesures claires ne sont pas prises en compte.

Exemple de transcription :
Agent : "J'ai traité une commande de remplacement qui arrivera dans deux jours."
→ AI marks Oui

Question :
L'agent a-t-il expliqué clairement la procédure d'escalade, y compris la personne à contacter, les informations nécessaires et les délais de réponse prévus ?

Options de réponse :
Oui / Non

Texte d'aide :
Une escalade complète comprend

1. Point de contact suivant

2. Informations requises

3. Délai de réponse prévu

Exemple de transcription :
Agent : "Si le problème persiste, je passerai au niveau 2. Ils auront besoin de votre numéro de dossier et vous répondront dans les 24 heures".
→ AI marks Oui

Question :
L'agent a-t-il respecté les déclarations d'information ou de conformité obligatoires (par exemple, les conditions, les clauses de non-responsabilité ou les exigences légales) ?

Options de réponse :
Oui / Non

Texte d'aide :
Les déclarations de conformité varient selon les secteurs et peuvent inclure des informations obligatoires, des clauses de non-responsabilité ou des avis juridiques. L'IA recherche ces phrases spécifiques dans la transcription.

Exemple de transcription :
Agent : "Pour des raisons de sécurité, je ne peux pas vous fournir les détails de votre compte sans avoir vérifié votre identité au préalable.
→ AI marks Oui

Question :
L'agent a-t-il évité les temps morts inutiles ou les longs silences sans explication ?

Options de réponse :
Oui / Non

Texte d'aide :
Les silences de plus de 15 secondes ne sont acceptables que s'ils sont expliqués au client (par exemple, "Je vais vous mettre brièvement en attente pendant que je vérifie ceci").

Exemple de transcription :
Agent : "Donnez-moi un moment pendant que je consulte les détails de votre compte." [10 secondes de silence]
→ AI marks Oui

Question :
L'agent a-t-il confirmé la satisfaction du client ou résumé les prochaines étapes avant de clore la conversation ?

Options de réponse :
Oui / Non

Texte d'aide :
Avant la clôture, l'agent doit confirmer la résolution ou résumer clairement les prochaines étapes. Cela prouve que le projet a été mené à bien et contribue à sa compréhension par le client.

Exemple de transcription :
Agent : "J'ai réinitialisé votre mot de passe. Pouvez-vous confirmer que vous êtes en mesure de vous connecter maintenant ?"
→ AI marks Oui