Guia do comprador · Matriz de pontuação
Agente de voz com IA Matriz de avaliação
Vinte critérios, cada um com o que testar, como testar em um piloto e os sinais de alerta. A matriz vem em branco de propósito: você pontua os fornecedores com base nas suas próprias chamadas, não no marketing de ninguém, inclusive o nosso.
Resposta rápida
Como avaliar um agente de voz com IA? Faça um piloto curto com as suas próprias chamadas e pontue cada fornecedor pelos mesmos critérios: integração de telefonia, BYOC, interoperabilidade SIP e SBC, atendimento receptivo e ativo, barge-in, latência de resposta medida como mediana e p95, chamada de ferramentas, embasamento em conhecimento, transferência para humanos, write-back no CRM, observabilidade, auditabilidade, idiomas e dialetos árabes, segurança, implantação, residência de dados, transparência de preços e suporte. Para cada critério, teste você mesmo, force falhas de propósito e pontue apenas o que observou. Não confie em pontuações publicadas de nenhum fornecedor.
Como usar a matriz?
A demonstração de um agente de voz com IA é uma apresentação ensaiada em uma chamada escolhida pelo fornecedor. A matriz troca isso por evidências de chamadas escolhidas por você. Antes de contatar qualquer fornecedor:
- Defina os tipos de chamada. Pontue os agentes nas chamadas que você realmente pretende automatizar. Se ainda não as escolheu, use o guia IA ou humano? Quais chamadas automatizar first.
- Defina os pesos primeiro. Dê a cada critério um peso de 1 a 3 antes de qualquer piloto começar. Uma linha de agendamento de clínica pode dar peso 3 a chamada de ferramentas e dialetos árabes e peso 1 a chamadas ativas; uma equipe de cobrança pode fazer o contrário.
- Pontue de 0 a 3 com base em evidências. 3 significa visto funcionando nas suas chamadas; 2 significa funcionando com pequenos problemas; 1 significa funcionando em parte ou mostrado apenas em demonstração; 0 significa não funciona ou não está disponível. Multiplique pelo peso e some.
- Marque os eliminatórios. Alguns sinais de alerta encerram a avaliação seja qual for o total, como um agente que confirma ações que falharam ou chamadas ativas com IA que ignoram sua lista de DNC.
Para as perguntas por escrito a enviar antes do piloto, use a seção de agentes de voz com IA do Checklist de RFP para contact center.
A matriz de avaliação
Em branco e reutilizável. Imprima uma cópia por fornecedor. No celular, role para o lado.
| Critério | O que testar | Como testar em um piloto | Sinais de alerta | Peso (1–3) | Pontuação (0–3) |
|---|---|---|---|---|---|
| Integração de telefonia | Se o agente roda na mesma telefonia que seus agentes humanos, para poder receber transferências, usar suas filas e apresentar seus caller IDs. | Roteie um DID real para o agente e faça uma transferência do agente para uma fila humana e de volta. Confira o caller ID que seu telefone de teste vê nas chamadas ativas. | O agente só funciona em um número ou aplicativo separado; as transferências perdem o contexto ou exigem uma nova chamada. | ||
| BYOC | Se o agente consegue cursar chamadas pela sua operadora ou tronco SIP atual. | Faça o piloto no seu próprio tronco, não no tronco de demonstração do fornecedor. Compare a qualidade de áudio e o estabelecimento da chamada nos dois. | Piloto possível apenas na operadora do fornecedor; tarifas por minuto, não previstas na proposta, em chamadas pelo seu próprio tronco. | ||
| SIP e SBC | Interoperabilidade com seu PBX ou SBC: sinalização, codecs, DTMF e como as falhas são tratadas. | Peça ao seu engenheiro de telefonia que analise um trace de chamada. Teste a digitação de DTMF, a espera e um desligamento do outro lado no meio de uma frase. | Ninguém do lado do fornecedor sabe ler um trace SIP; problemas de áudio unidirecional ou de DTMF tratados como casos raros. | ||
| Receptivo | Como o agente atende, identifica quem liga e roteia ou resolve a solicitação. | Ligue vinte vezes com os seus cinco principais motivos reais de contato, de telefones diferentes, e registre o que acontece em cada uma. | Funciona só no roteiro da demonstração; pede a quem liga informações que o sistema já tem. | ||
| Chamadas ativas | Se o agente consegue executar campanhas ativas com os mesmos controles de lista, ritmo, horário de chamada e DNC das campanhas humanas. | Rode uma pequena lista ativa apenas para números de teste internos. Inclua um número da sua lista de DNC e um fora do horário de chamada; os dois devem ser bloqueados. | As chamadas ativas com IA ignoram os controles que valem para as campanhas humanas; não há registro de por que uma chamada foi ou não feita. | ||
| Interrupção (barge-in) | Se quem liga consegue interromper e o agente para, escuta e responde à interrupção. | Interrompa no meio da saudação, no meio de uma frase e no meio de um número. Tente uma interjeição curta e uma tosse; nenhuma das duas deve descarrilar a chamada. | O agente continua falando por cima de quem liga, ou para a cada ruído de fundo. | ||
| Latência | Tempo de resposta entre o fim da fala de quem liga e a primeira palavra audível da resposta. Meça a mediana e o p95, não apenas uma média. | Meça a partir das suas próprias gravações das chamadas do piloto, no seu tronco, nos seus idiomas. Informe a mediana e o p95 por idioma e por tipo de chamada, incluindo turnos que chamam uma ferramenta. | O fornecedor cita um único número, mas não sabe dizer como foi medido; silêncios longos nos turnos que consultam dados; latência mostrada apenas em laboratório, não nas suas chamadas. | ||
| Chamada de ferramentas | Se o agente consegue executar ações reais (agendar, remarcar, consultar um pedido, registrar uma promessa de pagamento) e confirma que a ação deu certo antes de avisar quem liga. | Agende, mude e cancele compromissos de teste e depois confira o sistema de destino. Force uma falha, como um horário já ocupado, e ouça o que é dito a quem liga. | O agente diz “pronto” quando a ação falhou; as ações não aparecem no seu sistema depois. | ||
| Embasamento em conhecimento | Se as respostas vêm do seu conteúdo aprovado, e o que o agente faz quando a resposta não está lá. | Faça dez perguntas que seus documentos respondem e cinco que eles não respondem. Peça um preço que não está na sua tabela de preços. | Inventa uma resposta ou um preço em vez de dizer que não sabe e oferecer uma pessoa. | ||
| Transferência para humanos | Quando e como o agente passa a chamada para uma pessoa, e o que essa pessoa recebe. | Peça um humano diretamente, demonstre irritação e traga um assunto que o agente não pode tratar. Confira se o humano vê a transcrição e o motivo. | Quem liga precisa repetir tudo; não há transferência fora do horário comercial nem oferta de retorno; o agente discute quando alguém pede uma pessoa. | ||
| Write-back no CRM | Se resultados, resumos, gravações e transcrições chegam ao seu CRM no registro certo. | Depois de cada chamada do piloto, abra o registro no CRM. Confira se o resultado, o resumo e os links estão lá e vinculados ao contato certo. | Os resultados ficam no console do fornecedor; o write-back exige um projeto sob medida, orçado à parte. | ||
| Observabilidade | O que você consegue ver com o agente rodando: chamadas ao vivo, erros, latência, taxa de transferência, chamadas de ferramentas com falha. | Peça ao seu supervisor que encontre, sem ajuda do fornecedor, as três piores chamadas do piloto e o motivo de cada uma ter dado errado. | Só painéis agregados; sem gravação e transcrição por chamada; erros visíveis apenas para o fornecedor. | ||
| Auditabilidade | Se você consegue reconstruir o que o agente disse e fez em qualquer chamada, e qual versão da configuração estava no ar naquele momento. | Escolha uma chamada de uma semana atrás. Recupere a gravação, a transcrição, as ações executadas e a versão do agente que a atendeu. | As mudanças de configuração não são versionadas; não há como saber qual prompt ou base de conhecimento respondeu a uma chamada antiga. | ||
| Idiomas | Quais idiomas funcionam em produção, em chamadas reais, incluindo a troca de idioma no meio da chamada. | Use falantes nativos da sua própria equipe para cada idioma de que você precisa. Troque de idioma no meio de uma chamada. | Lista de idiomas tirada do catálogo do provedor de voz, não de chamadas testadas; o sotaque quebra o reconhecimento. | ||
| dialetos árabes | Se o agente entende e responde no dialeto que seus clientes usam (por exemplo, do Golfo, levantino, egípcio), e não só em árabe padrão moderno. | Peça a pessoas de cada dialeto que você atende que façam os mesmos pedidos. Pergunte se as respostas soaram naturais ou como tradução. | Respostas em árabe formal para quem fala em dialeto; números, datas ou nomes mal entendidos no dialeto. | ||
| Segurança | Criptografia, isolamento de tenants, controle de acesso e logs de auditoria, além de como os provedores de IA processam os dados das suas chamadas. | Aplique seu questionário de segurança padrão. Pergunte quais provedores de IA recebem áudio ou texto e se os seus dados treinam modelos compartilhados. | Certificações apresentadas como obtidas quando são apenas planejadas; nenhuma resposta sobre onde o áudio é processado; single sign-on descrito de forma vaga, sem data no roadmap. | ||
| Implantação | Como o agente é configurado, testado, publicado e revertido, e quem da sua equipe pode fazer isso. | Peça ao seu próprio administrador que altere a saudação, publique, teste e reverta, sem ajuda do fornecedor. | Toda alteração exige um chamado ao fornecedor; não há ambiente de testes; não há rollback. | ||
| Residência de dados | Onde ficam o áudio, as transcrições, as gravações e o processamento de IA, e se isso pode ser escolhido. | Peça a resposta por escrito para cada tipo de dado, incluindo o provedor do modelo de IA, e compare com as exigências do seu regulador. | Residência informada apenas para o banco de dados, enquanto o áudio vai para um provedor de IA em outro país. | ||
| Transparência de preços | Como o uso é cobrado (por minuto, por chamada, por token), o que está incluído e se você pode limitar o gasto. | Peça uma estimativa de fatura para o volume do piloto e compare com a fatura real do piloto. | O preço do piloto é diferente do de produção; cobranças por chamadas com falha ou transferidas não informadas; nenhum limite de gasto. | ||
| Suporte | Quem ajuda quando algo quebra, em que horários e idiomas, e com que rapidez. | Abra um chamado de suporte real durante o piloto e cronometre a primeira resposta e a resolução. | Piloto atendido pelo engenheiro de pré-vendas, produção por uma fila que você nunca conheceu; nenhum caminho de escalação. | ||
| Total ponderado (soma de peso × pontuação) | |||||
Não pontue concorrentes a partir dos sites deles e não peça a um fornecedor que preencha esta matriz por você. Cada célula deve ser preenchida pela sua equipe com base em chamadas que vocês fizeram, ouviram ou revisaram.
Como medir a latência?
A latência é o critério que os fornecedores mais respondem com um único número, e o que os compradores mais aceitam sem conferir. Meça você mesmo:
- Defina o intervalo. Do momento em que quem liga para de falar até a primeira palavra audível da resposta, como ouvida no telefone de quem liga. Não o tempo que o modelo levou, nem o tempo medido dentro do servidor do fornecedor.
- Use suas gravações. Pegue as gravações das chamadas do piloto e meça o intervalo em cada turno do agente, ou em uma amostra fixa de turnos.
- Informe a mediana e o p95. A mediana é a resposta típica. O p95 é a mais lenta a cada vinte, e geralmente é aí que quem liga começa a dizer “alô?”.
- Separe os dados. Informe separadamente por idioma e para os turnos em que o agente chama uma ferramenta, como consultar uma agenda. Esses turnos são mais lentos e são os que mais importam.
- Use sua rede. Meça no seu próprio tronco e nas redes dos seus clientes. A latência na linha de demonstração de um fornecedor só diz algo sobre a linha de demonstração.
Depois defina o seu próprio limite, antes de ver o resultado de qualquer fornecedor, para a mediana e o p95 que você vai aceitar nas suas chamadas.
Duas semanas
Como fazer um piloto de 2 semanas de agente de voz com IA?
Aplique o mesmo plano a todos os fornecedores da sua shortlist, de preferência em paralelo, para que as condições sejam as mesmas.
- 1
Antes do dia 1
Combine o escopo por escrito
Escolha um ou dois tipos de chamada da lista “bom encaixe para IA” do framework IA ou humano. Escreva o que significa sucesso: a parcela de chamadas totalmente resolvidas, a parcela corretamente passada para uma pessoa, a latência aceitável na mediana e no p95, e os erros que encerram o piloto imediatamente. Combine que o piloto roda nos seus próprios números, no seu próprio tronco quando possível e com o seu próprio conteúdo.
- 2
Dias 1 a 3
Configure e teste internamente
Carregue seu conteúdo de conhecimento e sua tabela de preços, conecte a agenda ou o CRM em que o agente deve gravar e defina o destino da transferência. Sua própria equipe, e não o fornecedor, faz as chamadas de teste cobrindo os critérios acima. Corrija os problemas de configuração antes que qualquer cliente ouça o agente.
- 3
Dias 4 e 5
Rode o conjunto de testes roteirizado
Faça um conjunto fixo de chamadas de teste com todos os fornecedores da mesma maneira: os mesmos pedidos, as mesmas interrupções, as mesmas falhas forçadas de propósito, os mesmos dialetos. Grave todas as chamadas. Esta é a parte da comparação feita em igualdade de condições.
- 4
Dias 6 a 12
Tráfego real, pequeno e supervisionado
Encaminhe uma fatia pequena e definida de chamadas reais para o agente, por exemplo um DID ou uma hora do dia, com um supervisor ouvindo e pronto para assumir. Mantenha o kill switch com a sua equipe. Revise uma amostra das gravações todos os dias e registre cada falha por tipo.
- 5
Dias 13 e 14
Meça e pontue
Calcule a latência de resposta mediana e p95 a partir das gravações, as taxas de resolução e de transferência e as ações com falha. Preencha a matriz com o que você observou. Depois pergunte às pessoas que receberam as transferências, e aos clientes que você conseguir contatar, o que acharam: a experiência de quem liga vale mais que qualquer painel.
Regras básicas para a fase ao vivo do piloto
- As chamadas ativas do piloto vão apenas para pessoas que concordaram em recebê-las, dentro do seu horário de chamada e com a sua lista de DNC aplicada.
- Avise quem liga que está falando com um agente de IA quando suas regras ou sua própria política exigirem, e sempre ofereça uma pessoa.
- Mantenha o botão que para o agente nas mãos da sua equipe, e não só nas do fornecedor.
- Pare o piloto na hora se o agente confirmar uma ação que não aconteceu ou der uma orientação que não foi configurado para dar.
Onde o DialerBee se encaixa?
Não publicamos pontuações nossas nesta matriz, pelo mesmo motivo pelo qual não publicamos as de ninguém. O que podemos dizer é o que observar ao fazer um piloto com a nossa agente de voz com IA, a Layla, para que você possa conferir:
- Ela roda na mesma plataforma que os agentes humanos: chamadas receptivas roteadas de um DID, campanhas ativas com IA e transferência para um agente humano.
- Quem liga pode interromper (barge-in), as respostas vêm da sua base de conhecimento e só podem ser ditos preços do seu catálogo de serviços.
- Cada resposta candidata passa por guardrails antes da conversão de texto em fala, e ações como agendamentos precisam retornar um status de confirmação antes de o agente dizer que foram concluídas.
- O suporte a dialetos árabes cobre o árabe do Golfo, levantino e egípcio, além de outros dez idiomas.
- Cada chamada com IA gera um resultado com gravação e transcrição, enviado ao CRM. As versões do agente podem ser publicadas e revertidas, e kill switches param um agente, uma campanha ou todas as chamadas com IA.
- A cobrança é por uso, com chaves de modelo gerenciadas ou suas próprias chaves. O SOC 2 Type II está planejado, não obtido, e o single sign-on está disponível; a Central de confiança lista o status de cada item.
Mais detalhes nas páginas agente de voz com IA e Agent Studio . Depois, passe-a pela matriz como qualquer outro fornecedor.
Perguntas
Como avaliar agentes de voz com IA: perguntas frequentes
O que devo medir ao comparar agentes de voz com IA?
Por que mediana e p95 de latência, e não uma média?
Por que esta matriz não traz pontuações de nenhum fornecedor?
Quanto tempo deve durar um piloto de agente de voz com IA?
Qual é o maior sinal de alerta em um piloto de agente de voz com IA?
Devemos testar os dialetos árabes separadamente?
Teste nas suas próprias chamadas
Agende uma demonstração para planejar um piloto com os seus tipos de chamada e idiomas, ou comece um teste grátis de 14 dias da plataforma.