Guía de compra · Matriz de puntuación
Agente de voz de IA Matriz de evaluación
Veinte criterios, cada uno con qué probar, cómo probarlo en un piloto y las señales de alerta. La matriz está en blanco a propósito: usted puntúa a los proveedores a partir de sus propias llamadas, no del marketing de nadie, incluido el nuestro.
Respuesta rápida
¿Cómo se evalúa un agente de voz de IA? Ejecute un piloto breve con sus propias llamadas y puntúe a cada proveedor con los mismos criterios: integración con la telefonía, BYOC, interoperabilidad SIP y SBC, gestión de entrantes y salientes, interrupciones (barge-in), latencia de respuesta medida como mediana y p95, llamadas a herramientas, respuestas basadas en su conocimiento, transferencia a una persona, escritura en el CRM, observabilidad, auditabilidad, idiomas y dialectos árabes, seguridad, implementación, residencia de datos, transparencia de precios y soporte. Para cada criterio, pruébelo usted mismo, provoque fallos a propósito y puntúe solo lo que haya observado. No se base en puntuaciones publicadas de ningún proveedor.
¿Cómo se usa la matriz?
Una demo de agente de voz de IA es una actuación ensayada sobre una llamada que eligió el proveedor. La matriz la reemplaza con evidencia de llamadas que eligió usted. Antes de contactar a cualquier proveedor:
- Decida los tipos de llamada. Puntúe a los agentes en las llamadas que realmente planea automatizar. Si aún no las ha elegido, trabaje con ¿IA o humano? Qué llamadas automatizar first.
- Defina primero las ponderaciones. Asigne a cada criterio una ponderación de 1 a 3 antes de iniciar cualquier piloto. Una línea de reservas de una clínica podría ponderar con 3 las llamadas a herramientas y los dialectos árabes y con 1 las salientes; un equipo de cobranza podría hacer lo contrario.
- Puntúe de 0 a 3 a partir de la evidencia. 3 significa que se observó funcionando en sus llamadas; 2, que funciona con problemas menores; 1, que funciona parcialmente o solo se mostró en una demo; 0, que no funciona o no está disponible. Multiplique por la ponderación y sume.
- Marque los criterios eliminatorios. Algunas señales de alerta terminan la evaluación sea cual sea el total, como un agente que confirma acciones que fallaron o llamadas salientes con IA que se saltan su lista DNC.
Para las preguntas por escrito que enviará antes del piloto, use la sección de agentes de voz de IA del Lista de verificación de RFP para contact centers.
La matriz de evaluación
En blanco y reutilizable. Imprima una copia por proveedor. En el teléfono, deslice hacia los lados.
| Criterio | Qué probar | Cómo probarlo en un piloto | Señales de alerta | Ponderación (1–3) | Puntuación (0–3) |
|---|---|---|---|---|---|
| Integración con la telefonía | Si el agente funciona sobre la misma telefonía que sus agentes humanos, de modo que pueda recibir transferencias, usar sus colas y presentar sus identificadores de llamada. | Enrute un DID real al agente y haga una transferencia del agente a una cola humana y de vuelta. Verifique el identificador de llamada que ve su teléfono de prueba en las salientes. | El agente solo funciona en un número o una app aparte; las transferencias pierden el contexto o requieren una llamada nueva. | ||
| BYOC | Si el agente puede cursar llamadas por su operador o troncal SIP actual. | Ejecute el piloto en su propia troncal, no en la troncal de demo del proveedor. Compare la calidad de audio y el establecimiento de llamada en ambas. | El piloto solo es posible con el operador del proveedor; tarifas por minuto en llamadas por su propia troncal que no estaban en la cotización. | ||
| SIP y SBC | Interoperabilidad con su PBX o SBC: señalización, códecs, DTMF y cómo se gestionan los fallos. | Pida a su ingeniero de telefonía que revise una traza de llamada. Pruebe la entrada DTMF, la espera y un corte del otro extremo a mitad de frase. | Nadie del lado del proveedor sabe leer una traza SIP; los problemas de audio unidireccional o de DTMF se descartan como casos aislados. | ||
| Entrante | Cómo atiende el agente, identifica a quien llama y enruta o resuelve la solicitud. | Llame veinte veces con sus cinco principales motivos de llamada reales, desde distintos teléfonos, y registre lo que ocurre en cada una. | Funciona solo con el guion de la demo; pide a quien llama información que el sistema ya tiene. | ||
| Saliente | Si el agente puede ejecutar campañas salientes con la misma lista, el mismo ritmo y los mismos controles de horario y DNC que las campañas humanas. | Ejecute una lista saliente pequeña solo hacia números de prueba internos. Incluya un número de su lista DNC y otro fuera del horario permitido; ambos deben bloquearse. | Las salientes con IA se saltan los controles que se aplican a las campañas humanas; no queda registro de por qué una llamada se realizó o no. | ||
| Interrupción (barge-in) | Si quien llama puede interrumpir y el agente se detiene, escucha y responde a la interrupción. | Interrumpa a mitad del saludo, a mitad de frase y a mitad de un número. Pruebe una interjección corta y una tos; ninguna debería descarrilar la llamada. | El agente sigue hablando por encima de quien llama, o se detiene ante cada ruido de fondo. | ||
| Latencia | Tiempo de respuesta desde que quien llama termina de hablar hasta la primera palabra audible de la respuesta. Mida la mediana y el p95, no solo un promedio. | Mida a partir de sus propias grabaciones de las llamadas del piloto, en su troncal, en sus idiomas. Reporte la mediana y el p95 por idioma y por tipo de llamada, incluidos los turnos que llaman a una herramienta. | El proveedor da una sola cifra pero no puede decir cómo se midió; silencios largos en turnos que consultan datos; latencia mostrada solo en laboratorio, no en sus llamadas. | ||
| Llamadas a herramientas | Si el agente puede realizar acciones reales (agendar, reprogramar, consultar un pedido, registrar una promesa de pago) y confirma que la acción tuvo éxito antes de decírselo a quien llama. | Agende, mueva y cancele citas de prueba, y luego verifique el sistema de destino. Provoque un fallo, como un horario completo, y escuche lo que se le dice a quien llama. | El agente dice “listo” cuando la acción falló; las acciones no aparecen después en su sistema. | ||
| Respuestas basadas en su conocimiento | Si las respuestas provienen de su contenido aprobado, y qué hace el agente cuando la respuesta no está ahí. | Haga diez preguntas que sus documentos respondan y cinco que no. Pida un precio que no esté en su lista de precios. | Inventa una respuesta o un precio en lugar de decir que no lo sabe y ofrecer una persona. | ||
| Transferencia a una persona | Cuándo y cómo transfiere el agente a una persona, y qué recibe la persona. | Pida hablar directamente con una persona, muéstrese molesto y plantee un tema que el agente no tenga permitido tratar. Verifique que la persona vea la transcripción y el motivo. | Quien llama tiene que repetirlo todo; no hay transferencia fuera del horario de atención ni se ofrece devolución de llamada; el agente discute ante una solicitud de hablar con una persona. | ||
| Escritura en el CRM | Si los resultados, resúmenes, grabaciones y transcripciones llegan a su CRM asociados al registro correcto. | Tras cada llamada del piloto, abra el registro del CRM. Verifique que el resultado, el resumen y los enlaces estén presentes y adjuntos al contacto correcto. | Los resultados se quedan en la consola del proveedor; la escritura en el CRM requiere un proyecto a medida cotizado por separado. | ||
| Observabilidad | Lo que puede ver mientras funciona: llamadas en vivo, errores, latencia, tasa de transferencia y llamadas a herramientas fallidas. | Pida a su supervisor que encuentre, sin ayuda del proveedor, las tres peores llamadas del piloto y el motivo por el que cada una salió mal. | Solo paneles agregados; sin grabación y transcripción por llamada; errores visibles solo para el proveedor. | ||
| Auditabilidad | Si puede reconstruir lo que el agente dijo e hizo en cualquier llamada, y qué versión de configuración estaba activa en ese momento. | Elija una llamada de hace una semana. Recupere su grabación, transcripción, acciones realizadas y la versión del agente que la atendió. | Los cambios de configuración no se versionan; no hay forma de saber qué prompt o base de conocimiento respondió una llamada anterior. | ||
| Idiomas | Qué idiomas funcionan en producción en llamadas reales, incluido el cambio de idioma a mitad de llamada. | Use hablantes nativos de su propio equipo para cada idioma que necesite. Cambie de idioma a mitad de una llamada. | Lista de idiomas tomada del catálogo del proveedor de voz, no de llamadas probadas; el acento hace fallar el reconocimiento. | ||
| dialectos árabes | Si el agente entiende y responde en el dialecto que usan quienes le llaman (por ejemplo del Golfo, levantino, egipcio), y no solo en árabe estándar moderno. | Haga que personas que hablan cada dialecto que atiende hagan las mismas solicitudes. Pregúnteles si las respuestas sonaron naturales o como una traducción. | Responde en árabe formal a quien llama en dialecto; números, fechas o nombres mal reconocidos en dialecto. | ||
| Seguridad | Cifrado, aislamiento por tenant, control de acceso y registros de auditoría, además de cómo los proveedores de IA procesan los datos de sus llamadas. | Aplique su cuestionario de seguridad estándar. Pregunte qué proveedores de IA reciben audio o texto y si sus datos entrenan modelos compartidos. | Certificaciones presentadas como obtenidas que solo están planificadas; sin respuesta sobre dónde se procesa el audio; inicio de sesión único descrito vagamente y sin fecha en la hoja de ruta. | ||
| Implementación | Cómo se configura, prueba, publica y revierte el agente, y quién de su equipo puede hacerlo. | Haga que su propio administrador cambie el saludo, lo publique, lo pruebe y lo revierta sin ayuda del proveedor. | Cada cambio requiere un ticket al proveedor; sin entorno de pruebas; sin reversión. | ||
| Residencia de datos | Dónde se ubican el audio, las transcripciones, las grabaciones y el procesamiento de IA, y si eso se puede elegir. | Obtenga la respuesta por escrito para cada tipo de dato, incluido el proveedor del modelo de IA, y compárela con los requisitos de su regulador. | Residencia declarada solo para la base de datos, mientras el audio va a un proveedor de IA en otro país. | ||
| Transparencia de precios | Cómo se factura el uso (por minuto, por llamada, por token), qué está incluido y si se puede limitar el gasto. | Pida una estimación de factura para el volumen del piloto y compárela con la factura real del piloto. | El precio del piloto difiere del de producción; cargos no informados por llamadas fallidas o transferidas; sin límite de gasto. | ||
| Asistencia | Quién ayuda cuando algo falla, en qué horarios e idiomas y con qué rapidez. | Abra un ticket de soporte real durante el piloto y mida el tiempo de la primera respuesta y de la resolución. | El piloto lo atiende el ingeniero de preventa y la producción, una cola que nunca conoció; sin ruta de escalamiento. | ||
| Total ponderado (suma de ponderación × puntuación) | |||||
No puntúe a los competidores a partir de sus sitios web ni le pida a un proveedor que complete esta matriz por usted. Cada celda debe completarla su equipo a partir de llamadas que realizó, escuchó o revisó.
¿Cómo se debe medir la latencia?
La latencia es el criterio que los proveedores responden con más frecuencia con una sola cifra, y el que los compradores aceptan con más frecuencia sin verificar. Mídala usted mismo:
- Defina el intervalo. Desde el momento en que quien llama deja de hablar hasta la primera palabra audible de la respuesta, tal como se oye en su teléfono. No el tiempo que tardó el modelo ni el tiempo medido dentro del servidor del proveedor.
- Use sus grabaciones. Tome las grabaciones de las llamadas de su piloto y mida el intervalo en cada turno del agente, o en una muestra fija de turnos.
- Reporte la mediana y el p95. La mediana es la respuesta típica. El p95 es la más lenta de cada veinte, y suele ser cuando quienes llaman empiezan a decir “¿hola?”.
- Desglósela. Reporte por separado cada idioma y los turnos en los que el agente llama a una herramienta, como consultar un calendario. Esos turnos son más lentos y son los que más importan.
- Use su red. Mida en su propia troncal y en las redes de quienes le llaman. La latencia en la línea de demo de un proveedor solo le dice algo sobre esa línea de demo.
Después fije su propio umbral, antes de ver el resultado de cualquier proveedor, para la mediana y el p95 que aceptará en sus llamadas.
Dos semanas
¿Cómo se ejecuta un piloto de 2 semanas de un agente de voz de IA?
Ejecute el mismo plan con cada proveedor de su lista corta, idealmente en paralelo, para que las condiciones sean las mismas.
- 1
Antes del día 1
Acuerde el alcance por escrito
Elija uno o dos tipos de llamada de la lista de buen encaje para IA del marco IA o humano. Escriba qué significa el éxito: el porcentaje de llamadas resueltas por completo, el porcentaje transferido correctamente a una persona, la latencia que aceptará en mediana y p95, y los errores que terminan el piloto de inmediato. Acuerde que el piloto se ejecute en sus propios números, en su propia troncal cuando sea posible y con su propio contenido.
- 2
Días 1 a 3
Configurar y probar internamente
Cargue su contenido de conocimiento y su lista de precios, conecte el calendario o el CRM en el que el agente debe escribir y defina el destino de transferencia. Su propio personal, no el proveedor, hace las llamadas de prueba que cubren los criterios anteriores. Corrija los problemas de configuración antes de que algún cliente escuche al agente.
- 3
Días 4 a 5
Ejecutar el conjunto de pruebas con guion
Ejecute un conjunto fijo de llamadas de prueba con cada proveedor de la misma manera: las mismas solicitudes, las mismas interrupciones, los mismos fallos provocados a propósito, los mismos dialectos. Grabe cada llamada. Esta es la parte de la comparación en igualdad de condiciones.
- 4
Días 6 a 12
Tráfico real, reducido y supervisado
Enrute al agente una porción pequeña y definida de llamadas reales, por ejemplo un DID o una hora del día, con un supervisor escuchando y listo para tomar el control. El interruptor de apagado debe quedar en manos de su equipo. Revise una muestra de grabaciones cada día y registre cada fallo por tipo.
- 5
Días 13 a 14
Medir y puntuar
Calcule a partir de las grabaciones la latencia de respuesta en mediana y p95, las tasas de resolución y de transferencia, y las acciones fallidas. Complete la matriz con lo que observó. Luego pregunte su opinión a las personas que atendieron las transferencias y a los clientes que pueda contactar: la experiencia de quien llama pesa más que cualquier panel.
Reglas básicas para la parte en vivo del piloto
- Las llamadas salientes del piloto van solo a personas que aceptaron recibirlas, dentro de su horario de llamadas y con su lista DNC aplicada.
- Informe a quienes llaman que están hablando con un agente de IA donde sus normas o su propia política lo exijan, y ofrezca siempre una persona.
- Mantenga el interruptor que detiene al agente en manos de su equipo, no solo en las del proveedor.
- Detenga el piloto de inmediato si el agente confirma una acción que no ocurrió o da un asesoramiento que no estaba configurado para dar.
¿Qué papel tiene DialerBee?
No publicamos puntuaciones propias en esta matriz, por la misma razón por la que no publicamos ninguna de otros. Lo que sí podemos decirle es qué observar cuando haga un piloto con Layla, nuestro agente de voz de IA, para que pueda comprobarlo:
- Funciona en la misma plataforma que los agentes humanos: llamadas entrantes enrutadas desde un DID, campañas salientes con IA y transferencia a un agente humano.
- Quienes llaman pueden interrumpir (barge-in), las respuestas provienen de su base de conocimiento y solo se pueden mencionar los precios de su catálogo de servicios.
- Cada respuesta candidata pasa por salvaguardas antes de la síntesis de voz, y acciones como las reservas deben devolver un estado de confirmación antes de que el agente diga que están hechas.
- El soporte de dialectos árabes cubre el árabe del Golfo, levantino y egipcio, además de otros diez idiomas.
- Cada llamada con IA produce un resultado con grabación y transcripción, que se envía al CRM. Las versiones del agente se pueden publicar y revertir, y los interruptores de apagado detienen un agente, una campaña o todas las llamadas con IA.
- Se factura por uso, con claves de modelo gestionadas o con sus propias claves. SOC 2 Type II está planificado, no obtenido, y el inicio de sesión único está disponible; la Centro de confianza indica el estado de cada elemento.
Hay más detalle en las páginas de agente de voz de IA y Agent Studio . Luego sométalo a la matriz como a cualquier otro.
Preguntas
Cómo evaluar agentes de voz de IA: preguntas frecuentes
¿Qué debo medir al comparar agentes de voz de IA?
¿Por qué medir la latencia en mediana y p95 y no como promedio?
¿Por qué esta matriz no incluye puntuaciones de ningún proveedor?
¿Cuánto debe durar un piloto de agente de voz de IA?
¿Cuál es la mayor señal de alerta en un piloto de agente de voz de IA?
¿Deberíamos probar los dialectos árabes por separado?
Pruébelo con sus propias llamadas
Agende una demo para planificar un piloto según sus tipos de llamada e idiomas, o inicie una prueba gratuita de 14 días de la plataforma.
Más de la guía de compra