Guida all'acquisto · Matrice di punteggio
Agente vocale IA Matrice di valutazione
Venti criteri, ciascuno con cosa testare, come testarlo in un pilot e i campanelli d'allarme. La matrice è vuota di proposito: valuti i fornitori sulle tue chiamate, non sul marketing di nessuno, compreso il nostro.
Risposta rapida
Come si valuta un agente vocale IA? Fai un breve pilot sulle tue chiamate e valuta ogni fornitore sugli stessi criteri: integrazione telefonica, BYOC, interoperabilità SIP e SBC, gestione inbound e outbound, barge-in, latenza di risposta misurata come mediana e p95, tool calling, aderenza alla knowledge base, passaggio a una persona, scrittura nel CRM, osservabilità, verificabilità, lingue e dialetti arabi, sicurezza, deployment, residenza dei dati, trasparenza dei prezzi e supporto. Per ogni criterio, testalo tu stesso, provoca errori di proposito e assegna punti solo a ciò che hai osservato. Non affidarti ai punteggi pubblicati di nessun fornitore.
Come si usa la matrice?
La demo di un agente vocale IA è una performance provata su una chiamata scelta dal fornitore. La matrice la sostituisce con prove raccolte su chiamate scelte da te. Prima di contattare qualsiasi fornitore:
- Scegli i tipi di chiamata. Valuta gli agenti sulle chiamate che intendi davvero automatizzare. Se non le hai ancora scelte, parti da IA o persona? Quali chiamate automatizzare first.
- Definisci prima i pesi. Assegna a ogni criterio un peso da 1 a 3 prima dell'inizio di qualsiasi pilot. Una linea di prenotazione di una clinica potrebbe dare peso 3 al tool calling e ai dialetti arabi e 1 all'outbound; un team di recupero crediti potrebbe fare il contrario.
- Assegna da 0 a 3 in base alle prove. 3 significa visto funzionare sulle tue chiamate; 2 funziona con problemi minori; 1 funziona in parte o è stato mostrato solo in una demo; 0 non funziona o non è disponibile. Moltiplica per il peso e somma.
- Segna i motivi di esclusione. Alcuni campanelli d'allarme chiudono la valutazione qualunque sia il totale, come un agente che conferma azioni non riuscite o un outbound IA che aggira la tua lista DNC.
Per le domande scritte da inviare prima del pilot, usa la sezione sugli agenti vocali IA della Checklist RFP per contact center.
La matrice di valutazione
Vuota e riutilizzabile. Stampane una copia per fornitore. Da telefono, scorri lateralmente.
| Criterio | Cosa testare | Come testarlo in un pilot | Campanelli d'allarme | Peso (1–3) | Punteggio (0–3) |
|---|---|---|---|---|---|
| Integrazione telefonica | Se l'agente funziona sulla stessa telefonia dei tuoi agenti umani, così da poter ricevere trasferimenti, usare le tue code e presentare i tuoi ID chiamante. | Instrada un DID reale verso l'agente ed esegui un trasferimento dall'agente a una coda di agenti umani e ritorno. Controlla l'ID chiamante che vede il tuo telefono di test in outbound. | L'agente funziona solo su un numero o un'app separati; i trasferimenti perdono il contesto o richiedono una nuova chiamata. | ||
| BYOC | Se l'agente può far passare le chiamate sul tuo carrier o trunk SIP esistente. | Fai il pilot sul tuo trunk, non sul trunk demo del fornitore. Confronta qualità audio e instaurazione della chiamata su entrambi. | Pilot possibile solo sul carrier del fornitore; costi al minuto, non presenti nel preventivo, sulle chiamate che passano dal tuo trunk. | ||
| SIP e SBC | Interoperabilità con il tuo PBX o SBC: segnalazione, codec, DTMF e gestione degli errori. | Fai analizzare una traccia di chiamata al tuo tecnico di telefonia. Testa l'inserimento DTMF, la messa in attesa e un riaggancio dall'altro lato a metà frase. | Nessuno, lato fornitore, sa leggere una traccia SIP; problemi di audio monodirezionale o DTMF liquidati come casi limite. | ||
| Inbound | Come l'agente risponde, identifica il chiamante e instrada o risolve la richiesta. | Chiama venti volte con i tuoi cinque principali motivi di chiamata reali, da telefoni diversi, e annota cosa succede ogni volta. | Funziona solo con lo script della demo; chiede al chiamante informazioni che il sistema ha già. | ||
| Outbound | Se l'agente può gestire campagne outbound con gli stessi controlli di lista, pacing, orari di chiamata e DNC delle campagne con agenti umani. | Chiama una piccola lista outbound composta solo da numeri di test interni. Includi un numero presente nella tua lista DNC e uno fuori dagli orari consentiti; entrambi devono essere bloccati. | L'outbound IA aggira i controlli che valgono per le campagne con agenti umani; nessuna traccia del motivo per cui una chiamata è partita o no. | ||
| Barge-in | Se il chiamante può interrompere e l'agente si ferma, ascolta e risponde all'interruzione. | Interrompi durante il saluto, a metà frase e a metà di un numero. Prova una breve interiezione e un colpo di tosse; nessuno dei due deve far deragliare la chiamata. | L'agente continua a parlare sopra il chiamante, oppure si ferma a ogni rumore di fondo. | ||
| Latenza | Tempo di risposta dalla fine del parlato del chiamante alla prima parola udibile della risposta. Misura mediana e p95, non solo una media. | Misura sulle tue registrazioni delle chiamate pilot, sul tuo trunk, nelle tue lingue. Riporta mediana e p95 per lingua e per tipo di chiamata, inclusi i turni che richiamano uno strumento. | Il fornitore cita un unico valore ma non sa dire come è stato misurato; lunghi silenzi nei turni che consultano dati; latenza mostrata solo in laboratorio, non sulle tue chiamate. | ||
| Tool calling | Se l'agente può eseguire azioni reali (prenotare, spostare un appuntamento, consultare un ordine, registrare una promessa di pagamento) e verifica che l'azione sia riuscita prima di dirlo al chiamante. | Prenota, sposta e annulla appuntamenti di test, poi controlla il sistema di destinazione. Provoca un errore, per esempio uno slot pieno, e ascolta cosa viene detto al chiamante. | L'agente dice «fatto» quando l'azione non è riuscita; le azioni poi non risultano nel tuo sistema. | ||
| Aderenza alla knowledge base | Se le risposte provengono dai tuoi contenuti approvati, e cosa fa l'agente quando la risposta non c'è. | Fai dieci domande a cui i tuoi documenti rispondono e cinque a cui non rispondono. Chiedi un prezzo che non è nel tuo listino. | Inventa una risposta o un prezzo invece di dire che non lo sa e offrire una persona. | ||
| Passaggio a una persona | Quando e come l'agente passa la chiamata a una persona, e cosa riceve la persona. | Chiedi direttamente una persona, mostrati agitato e solleva un argomento che l'agente non è autorizzato a gestire. Verifica che la persona veda la trascrizione e il motivo. | Il chiamante deve ripetere tutto; nessun passaggio fuori orario e nessuna richiamata offerta; l'agente discute quando gli si chiede una persona. | ||
| Scrittura nel CRM | Se esiti, riepiloghi, registrazioni e trascrizioni arrivano nel tuo CRM sul record giusto. | Dopo ogni chiamata pilot, apri il record nel CRM. Verifica che esito, riepilogo e link siano presenti e associati al contatto corretto. | I risultati restano nella console del fornitore; la scrittura nel CRM richiede un progetto personalizzato quotato a parte. | ||
| Osservabilità | Cosa puoi vedere mentre è attivo: chiamate live, errori, latenza, tasso di passaggio a una persona, tool call non riuscite. | Chiedi al tuo supervisore di trovare, senza l'aiuto del fornitore, le tre chiamate peggiori del pilot e il motivo per cui ciascuna è andata male. | Solo dashboard aggregate; nessuna registrazione e trascrizione per singola chiamata; errori visibili solo al fornitore. | ||
| Verificabilità | Se puoi ricostruire cosa ha detto e fatto l'agente in qualsiasi chiamata, e quale versione della configurazione era attiva in quel momento. | Scegli una chiamata di una settimana fa. Recupera registrazione, trascrizione, azioni eseguite e la versione dell'agente che l'ha gestita. | Le modifiche alla configurazione non sono versionate; impossibile sapere quale prompt o knowledge base ha risposto a una chiamata passata. | ||
| Lingue | Quali lingue funzionano in produzione su chiamate reali, compreso il cambio di lingua durante la chiamata. | Usa madrelingua del tuo team per ogni lingua che ti serve. Cambia lingua a metà di una chiamata. | Elenco delle lingue preso dal catalogo del provider vocale, non da chiamate testate; un accento manda in crisi il riconoscimento. | ||
| i dialetti arabi | Se l'agente capisce e risponde nel dialetto usato dai tuoi chiamanti (per esempio del Golfo, levantino, egiziano), non solo in arabo standard moderno. | Fai fare le stesse richieste a chiamanti di ciascun dialetto che servi. Chiedi loro se le risposte sembravano naturali o una traduzione. | Risponde in arabo formale a chi parla in dialetto; numeri, date o nomi capiti male in dialetto. | ||
| Sicurezza | Crittografia, isolamento dei tenant, controllo degli accessi e audit log, oltre a come i provider IA trattano i dati delle tue chiamate. | Usa il tuo questionario di sicurezza standard. Chiedi quali provider IA ricevono audio o testo e se i tuoi dati addestrano modelli condivisi. | Certificazioni presentate come ottenute che sono solo pianificate; nessuna risposta su dove viene elaborato l'audio; single sign-on descritto in modo vago, senza una data in roadmap. | ||
| Deployment | Come l'agente viene configurato, testato, pubblicato e riportato a una versione precedente, e chi nel tuo team può farlo. | Fai modificare il saluto al tuo amministratore, pubblicarlo, testarlo e annullare la modifica senza l'aiuto del fornitore. | Ogni modifica richiede un ticket al fornitore; nessun ambiente di test; nessun rollback. | ||
| Residenza dei dati | Dove si trovano audio, trascrizioni, registrazioni ed elaborazione IA, e se è possibile sceglierlo. | Fatti dare la risposta per iscritto per ogni tipo di dato, compreso il provider del modello IA, e confrontala con i requisiti della tua autorità di regolamentazione. | Residenza dichiarata solo per il database, mentre l'audio va a un provider IA in un altro paese. | ||
| Trasparenza dei prezzi | Come viene fatturato l'utilizzo (al minuto, a chiamata, a token), cosa è incluso e se puoi fissare un tetto di spesa. | Chiedi una stima della fattura per il volume del pilot e confrontala con la fattura effettiva del pilot. | Il prezzo del pilot è diverso da quello in produzione; costi per chiamate non riuscite o trasferite non dichiarati; nessun tetto di spesa. | ||
| Supporto | Chi ti aiuta quando qualcosa si rompe, in quali orari e lingue, e con quale rapidità. | Apri un vero ticket di supporto durante il pilot e cronometra la prima risposta e la risoluzione. | Pilot seguito dal sales engineer, produzione da una coda che non hai mai conosciuto; nessun percorso di escalation. | ||
| Totale ponderato (somma di peso × punteggio) | |||||
Non valutare i concorrenti dai loro siti web e non chiedere a un fornitore di compilare questa matrice al posto tuo. Ogni cella deve essere compilata dal tuo team in base a chiamate che avete fatto, ascoltato o rivisto.
Come misurare la latenza?
La latenza è il criterio a cui i fornitori rispondono più spesso con un solo numero, e quello che gli acquirenti accettano più spesso senza verificarlo. Misurala tu stesso:
- Definisci l'intervallo. Dal momento in cui il chiamante smette di parlare alla prima parola udibile della risposta, così come si sente sul telefono del chiamante. Non il tempo impiegato dal modello, né il tempo misurato all'interno del server del fornitore.
- Usa le tue registrazioni. Prendi le registrazioni delle tue chiamate pilot e misura l'intervallo su ogni turno dell'agente, o su un campione fisso di turni.
- Riporta mediana e p95. La mediana è la risposta tipica. Il p95 è la più lenta su venti, ed è di solito il punto in cui i chiamanti iniziano a dire «pronto?».
- Scomponila. Riportala separatamente per lingua e per i turni in cui l'agente richiama uno strumento, come la verifica di un calendario. Quei turni sono più lenti e sono quelli che contano di più.
- Usa la tua rete. Misura sul tuo trunk e sulle reti dei tuoi chiamanti. La latenza sulla linea demo di un fornitore ti dice qualcosa solo sulla linea demo.
Poi fissa la tua soglia, prima di vedere il risultato di qualsiasi fornitore, per la mediana e il p95 che accetterai sulle tue chiamate.
Due settimane
Come si fa un pilot di 2 settimane di un agente vocale IA?
Applica lo stesso piano a ogni fornitore della tua shortlist, idealmente in parallelo, così le condizioni sono le stesse.
- 1
Prima del giorno 1
Concorda l'ambito per iscritto
Scegli uno o due tipi di chiamata dall'elenco «adatto all'IA» del framework IA o persona. Scrivi cosa significa successo: la quota di chiamate risolte del tutto, la quota passata correttamente a una persona, la latenza che accetterai per mediana e p95, e gli errori che chiudono subito il pilot. Concorda che il pilot giri sui tuoi numeri, sul tuo trunk dove possibile e sui tuoi contenuti.
- 2
Giorni 1–3
Configura e testa internamente
Carica i tuoi contenuti e il listino prezzi, collega il calendario o il CRM in cui l'agente deve scrivere e imposta la destinazione del passaggio a una persona. Sono i tuoi collaboratori, non il fornitore, a fare le chiamate di test che coprono i criteri indicati sopra. Risolvi i problemi di configurazione prima che un cliente senta l'agente.
- 3
Giorni 4–5
Esegui la serie di test predefinita
Esegui con ogni fornitore la stessa serie fissa di chiamate di test, nello stesso modo: stesse richieste, stesse interruzioni, stessi errori provocati di proposito, stessi dialetti. Registra ogni chiamata. Questa è la parte del confronto a parità di condizioni.
- 4
Giorni 6–12
Traffico reale, limitato e supervisionato
Instrada verso l'agente una piccola porzione definita di chiamate reali, per esempio un DID o un'ora della giornata, con un supervisore in ascolto e pronto a subentrare. Il kill switch resta al tuo team. Rivedi ogni giorno un campione di registrazioni e annota ogni errore per tipo.
- 5
Giorni 13–14
Misura e assegna i punteggi
Calcola dalle registrazioni la latenza di risposta mediana e p95, i tassi di risoluzione e di passaggio a una persona e le azioni non riuscite. Compila la matrice in base a ciò che hai osservato. Poi chiedi un parere a chi ha gestito i passaggi e ai chiamanti che riesci a raggiungere: l'esperienza del chiamante conta più di qualsiasi dashboard.
Regole di base per la parte live del pilot
- Le chiamate pilot outbound vanno solo a persone che hanno accettato di riceverle, negli orari di chiamata consentiti e con la tua lista DNC applicata.
- Informa i chiamanti che parlano con un agente IA dove le tue regole o le tue policy lo richiedono, e offri sempre una persona.
- L'interruttore che ferma l'agente deve restare nelle mani del tuo team, non solo in quelle del fornitore.
- Interrompi subito il pilot se l'agente conferma un'azione mai avvenuta o dà consigli che non era configurato per dare.
Dove si colloca DialerBee?
Non pubblichiamo punteggi su di noi in questa matrice, per lo stesso motivo per cui non ne pubblichiamo per nessun altro. Possiamo però dirti cosa cercare quando fai un pilot con il nostro agente vocale IA, Layla, così puoi verificarlo:
- Funziona sulla stessa piattaforma degli agenti umani: chiamate inbound instradate da un DID, campagne outbound con IA e passaggio a un agente umano.
- I chiamanti possono interrompere (barge-in), le risposte provengono dalla tua knowledge base e si possono pronunciare solo i prezzi del tuo catalogo servizi.
- Ogni risposta candidata passa per dei guardrail prima della sintesi vocale, e azioni come le prenotazioni devono restituire uno stato di conferma prima che l'agente dica che sono state eseguite.
- La gestione dei dialetti arabi copre l'arabo del Golfo, levantino ed egiziano, più altre dieci lingue.
- Ogni chiamata IA produce un risultato con registrazione e trascrizione, inviato al CRM. Le versioni dell'agente possono essere pubblicate e annullate, e i kill switch fermano un agente, una campagna o tutte le chiamate IA.
- Viene fatturato a consumo, su chiavi di modello gestite o sulle tue chiavi. SOC 2 Type II è pianificato, non ottenuto, e il single sign-on è disponibile; la Trust Center elenca lo stato di ogni voce.
Maggiori dettagli nelle pagine Agente vocale IA e Agent Studio . Poi sottoponilo alla matrice come chiunque altro.
Domande
Valutare gli agenti vocali IA: FAQ
Cosa misurare quando si confrontano agenti vocali IA?
Perché latenza mediana e p95 invece di una media?
Perché questa matrice non include punteggi per nessun fornitore?
Quanto deve durare il pilot di un agente vocale IA?
Qual è il campanello d'allarme più grave in un pilot di un agente vocale IA?
Conviene testare separatamente i dialetti arabi?
Fai un pilot sulle tue chiamate
Prenota una demo per pianificare un pilot sui tuoi tipi di chiamata e sulle tue lingue, oppure inizia una prova gratuita di 14 giorni della piattaforma.