Guide d'achat · Matrice de notation
Agent vocal IA Matrice d'évaluation
Vingt critères, chacun avec ce qu'il faut tester, comment le tester lors d'un pilote et les signaux d'alerte. La matrice est volontairement vierge : vous notez les éditeurs à partir de vos propres appels, pas de leur marketing, le nôtre compris.
Réponse rapide
Comment évaluer un agent vocal IA ? Menez un court pilote sur vos propres appels et notez chaque éditeur selon les mêmes critères : intégration téléphonique, BYOC, interopérabilité SIP et SBC, gestion de l'entrant et du sortant, interruption (barge-in), latence de réponse mesurée en médiane et en p95, appel d'outils, ancrage dans vos connaissances, transfert vers un humain, écriture dans le CRM, observabilité, auditabilité, langues et dialectes arabes, sécurité, déploiement, résidence des données, transparence tarifaire et support. Pour chaque critère, testez vous-même, provoquez volontairement des échecs et ne notez que ce que vous avez observé. Ne vous fiez aux scores publiés d'aucun éditeur.
Comment utiliser la matrice ?
Une démo d'agent vocal IA est une performance répétée sur un appel choisi par l'éditeur. La matrice la remplace par des preuves issues d'appels que vous avez choisis. Avant de contacter un éditeur :
- Choisissez les types d'appels. Notez les agents sur les appels que vous prévoyez réellement d'automatiser. Si vous ne les avez pas encore choisis, parcourez IA ou humain ? Quels appels automatiser first.
- Définissez d'abord les pondérations. Attribuez à chaque critère un poids de 1 à 3 avant le début de tout pilote. Une ligne de prise de rendez-vous en clinique pourrait pondérer l'appel d'outils et les dialectes arabes à 3 et le sortant à 1 ; une équipe de recouvrement pourrait faire l'inverse.
- Notez de 0 à 3 sur preuves. 3 : observé en fonctionnement sur vos appels ; 2 : fonctionne avec des problèmes mineurs ; 1 : fonctionne en partie ou seulement montré en démo ; 0 : ne fonctionne pas ou indisponible. Multipliez par le poids et additionnez.
- Identifiez les critères éliminatoires. Certains signaux d'alerte mettent fin à l'évaluation quel que soit le total, comme un agent qui confirme des actions ayant échoué, ou des appels sortants IA qui contournent votre liste DNC.
Pour les questions écrites à envoyer avant le pilote, utilisez la section agents vocaux IA de la Checklist d'appel d'offres (RFP) pour centre de contact.
La matrice d'évaluation
Vierge et réutilisable. Imprimez un exemplaire par éditeur. Sur téléphone, faites défiler horizontalement.
| Critère | Ce qu'il faut tester | Comment le tester lors d'un pilote | Signaux d'alerte | Poids (1–3) | Note (0–3) |
|---|---|---|---|---|---|
| Intégration téléphonique | L'agent fonctionne-t-il sur la même téléphonie que vos agents humains, afin de recevoir des transferts, utiliser vos files d'attente et présenter vos numéros d'appelant ? | Routez un vrai SDA vers l'agent et effectuez un transfert de l'agent vers une file humaine, puis retour. Vérifiez le numéro d'appelant affiché sur votre téléphone de test en sortant. | L'agent ne fonctionne que sur un numéro ou une application à part ; les transferts perdent le contexte ou nécessitent un nouvel appel. | ||
| BYOC | L'agent peut-il acheminer les appels via votre opérateur ou votre trunk SIP existant ? | Menez le pilote sur votre propre trunk, pas sur le trunk de démo de l'éditeur. Comparez la qualité audio et l'établissement des appels sur les deux. | Pilote possible uniquement sur l'opérateur de l'éditeur ; frais à la minute non prévus au devis sur les appels passant par votre propre trunk. | ||
| SIP et SBC | Interopérabilité avec votre PBX ou SBC : signalisation, codecs, DTMF et gestion des échecs. | Faites analyser une trace d'appel par votre ingénieur télécom. Testez la saisie DTMF, la mise en attente et un raccrochage côté distant en pleine phrase. | Personne chez l'éditeur ne sait lire une trace SIP ; problèmes d'audio unidirectionnel ou de DTMF balayés comme des cas marginaux. | ||
| Entrant | Comment l'agent répond, identifie l'appelant, puis oriente ou traite la demande. | Appelez vingt fois avec vos cinq principaux motifs d'appel réels, depuis différents téléphones, et notez ce qui se passe à chaque fois. | Ne fonctionne que sur le script de démo ; demande à l'appelant des informations que le système possède déjà. | ||
| Sortant | L'agent peut-il mener des campagnes sortantes avec les mêmes contrôles de liste, de cadence, d'heures d'appel et de DNC que les campagnes humaines ? | Lancez une petite liste sortante vers des numéros de test internes uniquement. Incluez un numéro de votre liste DNC et un hors heures d'appel ; les deux doivent être bloqués. | Les appels sortants IA contournent les contrôles appliqués aux campagnes humaines ; aucune trace expliquant pourquoi un appel a été passé ou non. | ||
| Interruption (barge-in) | L'appelant peut-il interrompre, et l'agent s'arrête-t-il, écoute-t-il et répond-il à l'interruption ? | Interrompez au milieu de l'accueil, en pleine phrase et en plein numéro. Essayez une courte interjection et une toux ; aucune ne doit faire dérailler l'appel. | L'agent continue de parler par-dessus l'appelant, ou s'arrête au moindre bruit de fond. | ||
| Latence | Temps de réponse entre la fin de la parole de l'appelant et le premier mot audible de la réponse. Mesurez la médiane et le p95, pas seulement une moyenne. | Mesurez à partir de vos propres enregistrements d'appels pilotes, sur votre trunk, dans vos langues. Indiquez la médiane et le p95 par langue et par type d'appel, y compris les tours de parole qui appellent un outil. | L'éditeur cite un chiffre unique mais ne sait pas dire comment il a été mesuré ; longs silences sur les tours qui consultent des données ; latence montrée seulement en laboratoire, pas sur vos appels. | ||
| Appel d'outils | L'agent peut-il effectuer de vraies actions (prendre ou reporter un rendez-vous, consulter une commande, enregistrer une promesse de paiement) et confirmer leur réussite avant d'en informer l'appelant ? | Prenez, déplacez et annulez des rendez-vous de test, puis vérifiez le système cible. Provoquez un échec, comme un créneau complet, et écoutez ce qui est dit à l'appelant. | L'agent dit « c'est fait » alors que l'action a échoué ; les actions n'apparaissent pas ensuite dans votre système. | ||
| Ancrage dans vos connaissances | Les réponses proviennent-elles de vos contenus validés, et que fait l'agent quand la réponse n'y figure pas ? | Posez dix questions auxquelles vos documents répondent et cinq auxquelles ils ne répondent pas. Demandez un prix absent de votre grille tarifaire. | Invente une réponse ou un prix au lieu de dire qu'il ne sait pas et de proposer une personne. | ||
| Transfert vers un humain | Quand et comment l'agent passe la main à une personne, et ce que celle-ci reçoit. | Demandez directement un humain, montrez-vous contrarié et abordez un sujet que l'agent n'a pas le droit de traiter. Vérifiez que l'humain voit la transcription et le motif. | L'appelant doit tout répéter ; aucun transfert hors heures d'ouverture et aucun rappel proposé ; l'agent discute quand on demande une personne. | ||
| Écriture dans le CRM | Les résultats, résumés, enregistrements et transcriptions arrivent-ils dans votre CRM, sur la bonne fiche ? | Après chaque appel pilote, ouvrez la fiche CRM. Vérifiez que le résultat, le résumé et les liens sont présents et rattachés au bon contact. | Les résultats restent dans la console de l'éditeur ; l'écriture dans le CRM nécessite un projet spécifique facturé à part. | ||
| Observabilité | Ce que vous voyez pendant le fonctionnement : appels en direct, erreurs, latence, taux de transfert, appels d'outils en échec. | Demandez à votre superviseur de retrouver, sans l'aide de l'éditeur, les trois pires appels du pilote et la raison de chaque échec. | Uniquement des tableaux de bord agrégés ; pas d'enregistrement ni de transcription par appel ; erreurs visibles seulement par l'éditeur. | ||
| Auditabilité | Pouvez-vous reconstituer ce que l'agent a dit et fait sur n'importe quel appel, et quelle version de configuration était en production à ce moment-là ? | Choisissez un appel d'il y a une semaine. Récupérez son enregistrement, sa transcription, les actions effectuées, et la version de l'agent qui l'a traité. | Les changements de configuration ne sont pas versionnés ; impossible de savoir quel prompt ou quelle base de connaissances a répondu à un appel passé. | ||
| Langues | Quelles langues fonctionnent en production sur de vrais appels, y compris le changement de langue en cours d'appel. | Faites appel à des locuteurs natifs de votre équipe pour chaque langue nécessaire. Changez de langue au milieu d'un appel. | Liste de langues reprise du catalogue du fournisseur de reconnaissance vocale, et non d'appels testés ; un accent fait échouer la reconnaissance. | ||
| les dialectes arabes | L'agent comprend-il et répond-il dans le dialecte de vos appelants (par exemple du Golfe, levantin, égyptien), et pas seulement en arabe standard moderne ? | Faites formuler les mêmes demandes par des appelants de chaque dialecte que vous servez. Demandez-leur si les réponses semblaient naturelles ou traduites. | Répond en arabe littéraire à un appelant qui parle en dialecte ; chiffres, dates ou noms mal compris en dialecte. | ||
| Sécurité | Chiffrement, isolation des tenants, contrôle d'accès et journaux d'audit, ainsi que la manière dont les fournisseurs d'IA traitent vos données d'appel. | Soumettez votre questionnaire de sécurité standard. Demandez quels fournisseurs d'IA reçoivent l'audio ou le texte, et si vos données entraînent des modèles partagés. | Certifications présentées comme obtenues alors qu'elles ne sont que prévues ; aucune réponse sur le lieu de traitement de l'audio ; authentification unique (SSO) décrite vaguement, sans date de feuille de route. | ||
| Déploiement | Comment l'agent est configuré, testé, publié et restauré à une version antérieure, et qui dans votre équipe peut le faire. | Faites modifier l'accueil par votre propre administrateur, puis publier, tester et revenir en arrière sans l'aide de l'éditeur. | Chaque changement nécessite un ticket chez l'éditeur ; pas d'environnement de test ; pas de retour arrière. | ||
| Résidence des données | Où se trouvent l'audio, les transcriptions, les enregistrements et le traitement IA, et si vous pouvez le choisir. | Obtenez la réponse par écrit pour chaque type de données, y compris pour le fournisseur du modèle d'IA, et confrontez-la aux exigences de votre régulateur. | Résidence indiquée pour la seule base de données, alors que l'audio part chez un fournisseur d'IA dans un autre pays. | ||
| Transparence tarifaire | Mode de facturation de l'usage (à la minute, à l'appel, au token), ce qui est inclus, et possibilité de plafonner les dépenses. | Demandez une estimation de facture pour le volume du pilote et comparez-la à la facture réelle du pilote. | Prix du pilote différent du prix de production ; frais sur les appels échoués ou transférés non communiqués ; aucun plafond de dépenses. | ||
| Support | Qui vous aide en cas de panne, à quelles heures, dans quelles langues et en combien de temps. | Ouvrez un vrai ticket de support pendant le pilote et chronométrez la première réponse et la résolution. | Pilote accompagné par l'avant-vente, production confiée à une file de support que vous n'avez jamais rencontrée ; aucune procédure d'escalade. | ||
| Total pondéré (somme des poids × notes) | |||||
Ne notez pas les concurrents d'après leurs sites web, et ne demandez pas à un éditeur de remplir cette matrice à votre place. Chaque case doit être remplie par votre équipe à partir d'appels que vous avez passés, écoutés ou analysés.
Comment mesurer la latence ?
La latence est le critère auquel les éditeurs répondent le plus souvent par un chiffre unique, et celui que les acheteurs acceptent le plus souvent sans vérifier. Mesurez-la vous-même :
- Définissez l'écart. Du moment où l'appelant cesse de parler jusqu'au premier mot audible de la réponse, tel qu'entendu sur le téléphone de l'appelant. Pas le temps de calcul du modèle, ni le temps mesuré sur le serveur de l'éditeur.
- Utilisez vos enregistrements. Prenez les enregistrements de vos appels pilotes et mesurez l'écart à chaque tour de parole de l'agent, ou sur un échantillon fixe de tours.
- Indiquez la médiane et le p95. La médiane est la réponse typique. Le p95 est la plus lente sur vingt, et c'est généralement là que les appelants commencent à dire « allô ? ».
- Ventilez-la. Indiquez-la séparément par langue et pour les tours où l'agent appelle un outil, comme la consultation d'un calendrier. Ces tours sont plus lents, et ce sont eux qui comptent le plus.
- Utilisez votre réseau. Mesurez sur votre propre trunk et sur les réseaux de vos appelants. La latence sur la ligne de démo d'un éditeur ne vous renseigne que sur la ligne de démo.
Fixez ensuite votre propre seuil, avant de voir le moindre résultat d'éditeur, pour la médiane et le p95 que vous accepterez sur vos appels.
Deux semaines
Comment mener un pilote d'agent vocal IA sur 2 semaines ?
Appliquez le même plan à chaque éditeur de votre short-list, idéalement en parallèle, pour que les conditions soient identiques.
- 1
Avant le jour 1
Convenir du périmètre par écrit
Choisissez un ou deux types d'appels dans la liste « adapté à l'IA » du cadre IA ou humain. Définissez par écrit ce que signifie le succès : la part d'appels entièrement résolus, la part correctement transférée à une personne, la latence acceptable en médiane et en p95, et les erreurs qui mettent fin au pilote immédiatement. Convenez que le pilote se déroule sur vos propres numéros, votre propre trunk si possible, et vos propres contenus.
- 2
Jours 1 à 3
Configurer et tester en interne
Chargez vos contenus de connaissances et votre grille tarifaire, connectez le calendrier ou le CRM dans lequel l'agent doit écrire, et définissez la destination des transferts. Ce sont vos équipes, pas l'éditeur, qui passent les appels de test couvrant les critères ci-dessus. Corrigez les problèmes de configuration avant qu'un client n'entende l'agent.
- 3
Jours 4 à 5
Dérouler le jeu de tests scénarisés
Déroulez un jeu fixe d'appels de test auprès de chaque éditeur, de la même manière : mêmes demandes, mêmes interruptions, mêmes échecs provoqués volontairement, mêmes dialectes. Enregistrez chaque appel. C'est la partie de la comparaison à conditions égales.
- 4
Jours 6 à 12
Trafic réel, limité et supervisé
Routez une petite part définie d'appels réels vers l'agent, par exemple un SDA ou une heure de la journée, avec un superviseur à l'écoute et prêt à reprendre la main. Gardez le coupe-circuit dans votre équipe. Écoutez chaque jour un échantillon d'enregistrements et consignez chaque échec par type.
- 5
Jours 13 à 14
Mesurer et noter
Calculez la latence de réponse médiane et p95 à partir des enregistrements, ainsi que les taux de résolution et de transfert et les actions en échec. Remplissez la matrice à partir de ce que vous avez observé. Puis demandez leur avis aux personnes qui ont reçu les transferts et aux appelants que vous pouvez joindre : l'expérience de l'appelant prime sur tout tableau de bord.
Règles de base pour la phase en conditions réelles du pilote
- Les appels sortants du pilote ne sont passés qu'à des personnes qui ont accepté de les recevoir, pendant vos heures d'appel, avec votre liste DNC appliquée.
- Informez les appelants qu'ils parlent à un agent IA lorsque vos règles ou votre propre politique l'exigent, et proposez toujours une personne.
- Gardez le bouton d'arrêt de l'agent entre les mains de votre équipe, pas seulement de l'éditeur.
- Arrêtez immédiatement le pilote si l'agent confirme une action qui n'a pas eu lieu, ou donne un conseil qu'il n'était pas configuré pour donner.
Et DialerBee dans tout ça ?
Nous ne publions aucune note pour nous-mêmes dans cette matrice, pour la même raison que nous n'en publions pour personne d'autre. Nous pouvons en revanche vous dire quoi regarder lorsque vous pilotez notre agent vocal IA, Layla, pour que vous puissiez le vérifier :
- Elle fonctionne sur la même plateforme que les agents humains : appels entrants routés depuis un SDA, campagnes sortantes IA et transfert vers un agent humain.
- Les appelants peuvent l'interrompre (barge-in), les réponses proviennent de votre base de connaissances, et seuls les prix de votre catalogue de services peuvent être annoncés.
- Chaque réponse envisagée passe par des garde-fous avant la synthèse vocale, et des actions comme les réservations doivent renvoyer un statut de confirmation avant que l'agent ne les annonce comme faites.
- La gestion des dialectes arabes couvre l'arabe du Golfe, levantin et égyptien, plus dix autres langues.
- Chaque appel IA produit un résultat avec enregistrement et transcription, envoyé dans le CRM. Les versions de l'agent peuvent être publiées et restaurées, et des coupe-circuits arrêtent un agent, une campagne ou tous les appels IA.
- Elle est facturée à l'usage, avec des clés de modèle gérées ou vos propres clés. La certification SOC 2 Type II est prévue, pas obtenue, et l'authentification unique (SSO) est disponible ; la Centre de confiance indique le statut de chaque élément.
Plus de détails sur les pages agent vocal IA et Agent Studio . Ensuite, soumettez-la à la matrice comme n'importe quel autre éditeur.
Questions
Évaluer les agents vocaux IA : FAQ
Que mesurer pour comparer des agents vocaux IA ?
Pourquoi mesurer la latence en médiane et en p95 plutôt qu'en moyenne ?
Pourquoi cette matrice ne contient-elle les notes d'aucun éditeur ?
Combien de temps doit durer un pilote d'agent vocal IA ?
Quel est le principal signal d'alerte lors d'un pilote d'agent vocal IA ?
Faut-il tester les dialectes arabes séparément ?
Testez-le sur vos propres appels
Réservez une démo pour préparer un pilote adapté à vos types d'appels et à vos langues, ou démarrez un essai gratuit de 14 jours de la plateforme.