Kaufratgeber · Bewertungsmatrix
KI-Sprachagent Bewertungsmatrix
Zwanzig Kriterien, jeweils mit dem, was zu testen ist, wie Sie es im Pilotprojekt testen, und den Warnsignalen. Die Matrix ist bewusst leer: Sie bewerten Anbieter anhand Ihrer eigenen Anrufe, nicht anhand des Marketings eines Anbieters – auch nicht unseres.
Die kurze Antwort
Wie bewerten Sie einen KI-Sprachagenten? Führen Sie ein kurzes Pilotprojekt mit Ihren eigenen Anrufen durch und bewerten Sie jeden Anbieter nach denselben Kriterien: Telefonie-Integration, BYOC, SIP- und SBC-Interoperabilität, Umgang mit eingehenden und ausgehenden Anrufen, Barge-in, Antwortlatenz gemessen als Median und p95, Tool-Aufrufe, Wissensverankerung, Übergabe an Menschen, CRM-Rückschreibung, Beobachtbarkeit, Prüfbarkeit, Sprachen und arabische Dialekte, Sicherheit, Bereitstellung, Datenstandort, Preistransparenz und Support. Testen Sie jedes Kriterium selbst, erzwingen Sie absichtlich Fehler, und bewerten Sie nur, was Sie beobachtet haben. Verlassen Sie sich bei keinem Anbieter auf veröffentlichte Bewertungen.
Wie nutzen Sie die Matrix?
Eine Demo eines KI-Sprachagenten ist eine einstudierte Vorführung mit einem Anruf, den der Anbieter ausgewählt hat. Die Matrix ersetzt sie durch Nachweise aus Anrufen, die Sie auswählen. Bevor Sie einen Anbieter kontaktieren:
- Legen Sie die Anruftypen fest. Bewerten Sie Agenten anhand der Anrufe, die Sie tatsächlich automatisieren wollen. Falls Sie diese noch nicht ausgewählt haben, nutzen Sie KI oder Mensch? Welche Anrufe Sie automatisieren sollten first.
- Legen Sie zuerst die Gewichtungen fest. Geben Sie jedem Kriterium eine Gewichtung von 1 bis 3, bevor ein Pilotprojekt beginnt. Eine Buchungsleitung einer Klinik könnte Tool-Aufrufe und arabische Dialekte mit 3 gewichten und Outbound mit 1; ein Inkasso-Team könnte es umgekehrt machen.
- Bewerten Sie 0 bis 3 anhand von Nachweisen. 3 bedeutet: bei Ihren Anrufen funktionierend beobachtet; 2: funktioniert mit kleinen Mängeln; 1: funktioniert teilweise oder wurde nur in einer Demo gezeigt; 0: funktioniert nicht oder nicht verfügbar. Mit der Gewichtung multiplizieren und addieren.
- Markieren Sie die K.-o.-Kriterien. Manche Warnsignale beenden die Bewertung unabhängig von der Gesamtpunktzahl, etwa ein Agent, der fehlgeschlagene Aktionen bestätigt, oder ausgehende KI-Anrufe, die Ihre DNC-Liste umgehen.
Die schriftlichen Fragen, die Sie vor dem Pilotprojekt versenden, finden Sie im Abschnitt KI-Sprachagenten der Contact-Center-RFP-Checkliste.
Die Bewertungsmatrix
Leer und wiederverwendbar. Drucken Sie eine Kopie pro Anbieter. Auf dem Handy seitwärts scrollen.
| Kriterium | Was getestet wird | So testen Sie es im Pilotprojekt | Warnsignale | Gewichtung (1–3) | Bewertung (0–3) |
|---|---|---|---|---|---|
| Telefonie-Integration | Ob der Agent auf derselben Telefonie wie Ihre menschlichen Agenten läuft, sodass er Übergaben annehmen, Ihre Warteschlangen nutzen und Ihre Anrufer-IDs anzeigen kann. | Routen Sie eine echte DID zum Agenten und führen Sie eine Übergabe vom Agenten an eine menschliche Warteschlange und zurück durch. Prüfen Sie die Anrufer-ID, die Ihr Testtelefon bei ausgehenden Anrufen sieht. | Der Agent funktioniert nur auf einer separaten Nummer oder App; Übergaben verlieren den Kontext oder erfordern einen neuen Anruf. | ||
| BYOC | Ob der Agent Anrufe über Ihren bestehenden Carrier oder SIP-Trunk abwickeln kann. | Führen Sie das Pilotprojekt über Ihren eigenen Trunk durch, nicht über den Demo-Trunk des Anbieters. Vergleichen Sie Audioqualität und Anrufaufbau bei beiden. | Pilotprojekt nur über den Carrier des Anbieters möglich; Gebühren pro Minute für Anrufe über Ihren eigenen Trunk, die nicht im Angebot standen. | ||
| SIP und SBC | Interoperabilität mit Ihrer PBX oder Ihrem SBC: Signalisierung, Codecs, DTMF und wie mit Ausfällen umgegangen wird. | Lassen Sie Ihren Telefonie-Engineer einen Call-Trace prüfen. Testen Sie DTMF-Eingabe, Halten und ein Auflegen der Gegenseite mitten im Satz. | Niemand beim Anbieter kann einen SIP-Trace lesen; einseitige Audioverbindung oder DTMF-Probleme werden als Randfälle abgetan. | ||
| Inbound | Wie der Agent antwortet, den Anrufer identifiziert und die Anfrage weiterleitet oder löst. | Rufen Sie zwanzigmal mit Ihren fünf häufigsten echten Anrufgründen an, von verschiedenen Telefonen, und protokollieren Sie jeweils, was passiert. | Funktioniert nur beim Demo-Skript; fragt den Anrufer nach Informationen, die das System bereits hat. | ||
| Outbound | Ob der Agent Outbound-Kampagnen mit denselben Listen-, Pacing-, Anrufzeit- und DNC-Kontrollen wie Kampagnen mit menschlichen Agenten durchführen kann. | Wählen Sie eine kleine Outbound-Liste ausschließlich mit internen Testnummern an. Nehmen Sie eine Nummer von Ihrer DNC-Liste und eine außerhalb der Anrufzeiten auf; beide müssen blockiert werden. | KI-Outbound umgeht die Kontrollen, die für Kampagnen mit menschlichen Agenten gelten; kein Nachweis, warum ein Anruf getätigt wurde oder nicht. | ||
| Barge-in | Ob ein Anrufer unterbrechen kann und der Agent anhält, zuhört und auf die Unterbrechung reagiert. | Unterbrechen Sie mitten in der Begrüßung, mitten im Satz und mitten in einer Zahl. Probieren Sie einen kurzen Einwurf und ein Husten; beides darf den Anruf nicht aus der Bahn werfen. | Der Agent spricht weiter über den Anrufer hinweg oder hält bei jedem Hintergrundgeräusch an. | ||
| Latenz | Antwortzeit vom Ende der Äußerung des Anrufers bis zum ersten hörbaren Wort der Antwort. Messen Sie Median und p95, nicht nur einen Durchschnitt. | Messen Sie anhand Ihrer eigenen Aufzeichnungen der Pilotanrufe, auf Ihrem Trunk, in Ihren Sprachen. Weisen Sie Median und p95 pro Sprache und pro Anruftyp aus, einschließlich der Gesprächswechsel, bei denen ein Tool aufgerufen wird. | Der Anbieter nennt eine einzige Zahl, kann aber nicht sagen, wie sie gemessen wurde; lange Pausen bei Gesprächswechseln, in denen Daten abgefragt werden; Latenz nur aus dem Labor, nicht aus Ihren Anrufen. | ||
| Tool-Aufrufe | Ob der Agent echte Aktionen durchführen kann (buchen, verschieben, eine Bestellung nachschlagen, ein Zahlungsversprechen protokollieren) und bestätigt, dass die Aktion erfolgreich war, bevor er es dem Anrufer sagt. | Buchen, verschieben und stornieren Sie Testtermine, und prüfen Sie dann das Zielsystem. Erzwingen Sie einen Fehler, etwa einen ausgebuchten Termin, und hören Sie, was dem Anrufer gesagt wird. | Der Agent sagt „erledigt“, obwohl die Aktion fehlgeschlagen ist; Aktionen sind danach in Ihrem System nicht sichtbar. | ||
| Wissensverankerung | Ob Antworten aus Ihren freigegebenen Inhalten stammen und was der Agent tut, wenn die Antwort nicht vorhanden ist. | Stellen Sie zehn Fragen, die Ihre Dokumente beantworten, und fünf, die sie nicht beantworten. Fragen Sie nach einem Preis, der nicht in Ihrer Preisliste steht. | Erfindet eine Antwort oder einen Preis, statt zu sagen, dass er es nicht weiß, und eine Person anzubieten. | ||
| Übergabe an Menschen | Wann und wie der Agent an eine Person übergibt und was die Person erhält. | Verlangen Sie direkt einen Menschen, klingen Sie verärgert und sprechen Sie ein Thema an, das der Agent nicht behandeln darf. Prüfen Sie, ob der Mensch das Transkript und den Übergabegrund sieht. | Der Anrufer muss alles wiederholen; außerhalb der Geschäftszeiten keine Übergabe und kein Rückrufangebot; der Agent diskutiert, wenn jemand nach einem Menschen fragt. | ||
| CRM-Rückschreibung | Ob Ergebnisse, Zusammenfassungen, Aufzeichnungen und Transkripte beim richtigen Datensatz in Ihrem CRM landen. | Öffnen Sie nach jedem Pilotanruf den CRM-Datensatz. Prüfen Sie, dass Ergebnis, Zusammenfassung und Links vorhanden und dem richtigen Kontakt zugeordnet sind. | Ergebnisse bleiben in der Konsole des Anbieters; die Rückschreibung erfordert ein separat angebotenes individuelles Projekt. | ||
| Beobachtbarkeit | Was Sie während des Betriebs sehen können: Live-Anrufe, Fehler, Latenz, Übergaberate, fehlgeschlagene Tool-Aufrufe. | Lassen Sie Ihren Supervisor ohne Hilfe des Anbieters die drei schlechtesten Anrufe des Pilotprojekts finden – und jeweils den Grund, warum sie schiefgingen. | Nur aggregierte Dashboards; keine Aufzeichnung und kein Transkript pro Anruf; Fehler nur für den Anbieter sichtbar. | ||
| Prüfbarkeit | Ob Sie rekonstruieren können, was der Agent bei einem beliebigen Anruf gesagt und getan hat, und welche Konfigurationsversion zu diesem Zeitpunkt live war. | Wählen Sie einen Anruf von vor einer Woche. Rufen Sie dessen Aufzeichnung, Transkript, durchgeführte Aktionen und die Agentenversion ab, die ihn bearbeitet hat. | Konfigurationsänderungen werden nicht versioniert; keine Möglichkeit festzustellen, welcher Prompt oder welche Wissensdatenbank einen früheren Anruf beantwortet hat. | ||
| Sprachen | Welche Sprachen in der Produktion bei echten Anrufen funktionieren, einschließlich Sprachwechsel mitten im Anruf. | Nutzen Sie Muttersprachler aus Ihrem eigenen Team für jede benötigte Sprache. Wechseln Sie die Sprache mitten in einem Anruf. | Sprachliste aus dem Katalog des Sprachtechnologie-Anbieters übernommen, nicht aus getesteten Anrufen; ein Akzent bringt die Erkennung aus dem Tritt. | ||
| arabische Dialekte | Ob der Agent im Dialekt Ihrer Anrufer versteht und antwortet (zum Beispiel Golf-, Levante- oder ägyptisches Arabisch), nicht nur im Modernen Standardarabisch. | Lassen Sie Anrufer aus jedem von Ihnen bedienten Dialekt dieselben Anfragen stellen. Fragen Sie sie, ob die Antworten natürlich klangen oder wie eine Übersetzung. | Antwortet einem Dialektsprecher in Hocharabisch; Zahlen, Daten oder Namen im Dialekt werden falsch verstanden. | ||
| Sicherheit | Verschlüsselung, Mandantenisolation, Zugriffskontrolle und Audit-Logs – und wie KI-Anbieter Ihre Anrufdaten verarbeiten. | Gehen Sie Ihren Standard-Sicherheitsfragebogen durch. Fragen Sie, welche KI-Anbieter Audio oder Text erhalten und ob mit Ihren Daten gemeinsam genutzte Modelle trainiert werden. | Zertifizierungen werden als vorhanden dargestellt, sind aber nur geplant; keine Antwort darauf, wo Audio verarbeitet wird; Single Sign-On vage beschrieben, ohne Termin auf der Roadmap. | ||
| Bereitstellung | Wie der Agent konfiguriert, getestet, veröffentlicht und zurückgenommen wird, und wer in Ihrem Team das tun kann. | Lassen Sie Ihren eigenen Administrator ohne Hilfe des Anbieters die Begrüßung ändern, veröffentlichen, testen und wieder zurücksetzen. | Jede Änderung erfordert ein Anbieter-Ticket; keine Testumgebung; kein Rollback. | ||
| Datenstandort | Wo sich Audio, Transkripte, Aufzeichnungen und KI-Verarbeitung befinden und ob das gewählt werden kann. | Lassen Sie sich die Antwort für jeden Datentyp schriftlich geben, einschließlich des KI-Modellanbieters, und gleichen Sie sie mit den Anforderungen Ihrer Aufsichtsbehörde ab. | Standort nur für die Datenbank angegeben, während Audio an einen KI-Anbieter in einem anderen Land fließt. | ||
| Preistransparenz | Wie die Nutzung abgerechnet wird (pro Minute, pro Anruf, pro Token), was enthalten ist und ob Sie die Ausgaben begrenzen können. | Verlangen Sie eine Rechnungsschätzung für das Pilotvolumen und vergleichen Sie sie mit der tatsächlichen Pilotrechnung. | Pilotpreis unterscheidet sich vom Produktionspreis; Gebühren für fehlgeschlagene oder weitergeleitete Anrufe nicht offengelegt; keine Ausgabenbegrenzung. | ||
| Support | Wer hilft, wenn etwas ausfällt – zu welchen Zeiten, in welchen Sprachen und wie schnell. | Eröffnen Sie während des Pilotprojekts ein echtes Support-Ticket und messen Sie die Zeit bis zur ersten Antwort und bis zur Lösung. | Pilotprojekt vom Sales Engineer betreut, Produktion von einem Support-Team, das Sie nie kennengelernt haben; kein Eskalationsweg. | ||
| Gewichtete Gesamtsumme (Summe aus Gewichtung × Bewertung) | |||||
Bewerten Sie Wettbewerber nicht anhand ihrer Websites, und lassen Sie diese Matrix nicht von einem Anbieter ausfüllen. Jede Zelle sollte Ihr Team anhand von Anrufen ausfüllen, die Sie selbst geführt, gehört oder geprüft haben.
Wie sollten Sie Latenz messen?
Latenz ist das Kriterium, das Anbieter am häufigsten mit einer einzigen Zahl beantworten – und das Käufer am häufigsten ungeprüft übernehmen. Messen Sie sie selbst:
- Definieren Sie die Pause. Vom Moment, in dem der Anrufer aufhört zu sprechen, bis zum ersten hörbaren Wort der Antwort – so, wie es auf dem Telefon des Anrufers ankommt. Nicht die Rechenzeit des Modells und nicht die im Server des Anbieters gemessene Zeit.
- Nutzen Sie Ihre Aufzeichnungen. Nehmen Sie die Aufzeichnungen Ihrer Pilotanrufe und messen Sie die Pause bei jeder Antwort des Agenten oder bei einer festen Stichprobe von Antworten.
- Weisen Sie Median und p95 aus. Der Median ist die typische Antwort. Der p95-Wert ist die langsamste von zwanzig – und genau dort fangen Anrufer meist an, „Hallo?“ zu sagen.
- Schlüsseln Sie auf. Weisen Sie die Werte getrennt pro Sprache aus und für Antworten, bei denen der Agent ein Tool aufruft, etwa um einen Kalender zu prüfen. Diese Antworten sind langsamer – und sie zählen am meisten.
- Nutzen Sie Ihr Netzwerk. Messen Sie über Ihren eigenen Trunk und in den Netzen Ihrer Anrufer. Die Latenz auf der Demo-Leitung eines Anbieters sagt nur etwas über die Demo-Leitung.
Legen Sie dann – bevor Sie das Ergebnis eines Anbieters sehen – Ihre eigenen Schwellenwerte für Median und p95 fest, die Sie bei Ihren Anrufen akzeptieren.
Zwei Wochen
Wie führt man ein zweiwöchiges Pilotprojekt mit einem KI-Sprachagenten durch?
Führen Sie denselben Plan mit jedem Anbieter auf Ihrer Shortlist durch, idealerweise parallel, damit die Bedingungen gleich sind.
- 1
Vor Tag 1
Umfang schriftlich vereinbaren
Wählen Sie ein oder zwei Anruftypen aus der Liste „gut für KI geeignet“ im Rahmenwerk „KI oder Mensch“. Halten Sie schriftlich fest, was Erfolg bedeutet: den Anteil vollständig gelöster Anrufe, den Anteil korrekt an einen Menschen übergebener Anrufe, die akzeptierte Latenz bei Median und p95 und die Fehler, die das Pilotprojekt sofort beenden. Vereinbaren Sie, dass das Pilotprojekt mit Ihren eigenen Nummern, nach Möglichkeit über Ihren eigenen Trunk und mit Ihren eigenen Inhalten läuft.
- 2
Tage 1 bis 3
Intern konfigurieren und testen
Laden Sie Ihre Wissensinhalte und Preisliste, verbinden Sie den Kalender oder das CRM, in das der Agent schreiben soll, und legen Sie das Übergabeziel fest. Testanrufe zu den oben genannten Kriterien führen Ihre eigenen Mitarbeitenden durch, nicht der Anbieter. Beheben Sie Konfigurationsprobleme, bevor ein Kunde den Agenten hört.
- 3
Tage 4 bis 5
Standardisierte Testanrufe durchführen
Führen Sie bei jedem Anbieter dieselben festgelegten Testanrufe auf dieselbe Weise durch: dieselben Anfragen, dieselben Unterbrechungen, dieselben absichtlich herbeigeführten Fehler, dieselben Dialekte. Zeichnen Sie jeden Anruf auf. Das ist der direkt vergleichbare Teil der Bewertung.
- 4
Tage 6 bis 12
Live-Traffic, in kleinem Umfang und überwacht
Leiten Sie einen kleinen, klar abgegrenzten Teil echter Anrufe an den Agenten, zum Beispiel eine DID oder eine Stunde am Tag, während ein Supervisor mithört und übernehmen kann. Der Notschalter bleibt bei Ihrem Team. Prüfen Sie täglich eine Stichprobe der Aufzeichnungen und erfassen Sie jeden Fehler nach Typ.
- 5
Tage 13 bis 14
Messen und bewerten
Berechnen Sie Median und p95 der Antwortlatenz anhand der Aufzeichnungen, dazu Lösungs- und Übergabequoten sowie fehlgeschlagene Aktionen. Füllen Sie die Matrix anhand Ihrer Beobachtungen aus. Fragen Sie dann die Mitarbeitenden, die die Übergaben angenommen haben, und die erreichbaren Anrufer nach ihrem Eindruck: Das Erlebnis des Anrufers zählt mehr als jedes Dashboard.
Grundregeln für den Live-Teil des Pilotprojekts
- Outbound-Pilotanrufe gehen nur an Personen, die dem Empfang zugestimmt haben – innerhalb Ihrer Anrufzeiten und unter Anwendung Ihrer DNC-Liste.
- Informieren Sie Anrufer, dass sie mit einem KI-Agenten sprechen, wo Ihre Vorschriften oder Ihre eigenen Richtlinien das verlangen, und bieten Sie immer einen Menschen an.
- Der Schalter, der den Agenten stoppt, gehört in die Hände Ihres Teams – nicht nur in die des Anbieters.
- Brechen Sie das Pilotprojekt sofort ab, wenn der Agent eine Aktion bestätigt, die nicht stattgefunden hat, oder Ratschläge gibt, für die er nicht konfiguriert wurde.
Wo steht DialerBee?
Wir veröffentlichen in dieser Matrix keine Bewertungen für uns selbst – aus demselben Grund, aus dem wir keine für andere veröffentlichen. Wir können Ihnen aber sagen, worauf Sie achten sollten, wenn Sie unsere KI-Sprachagentin Layla im Pilotprojekt testen, damit Sie es selbst prüfen können:
- Sie läuft auf derselben Plattform wie menschliche Agenten: eingehende Anrufe, die über eine DID geroutet werden, Outbound-KI-Kampagnen und Übergabe an einen menschlichen Agenten.
- Anrufer können unterbrechen (Barge-in), Antworten stammen aus Ihrer Wissensdatenbank, und es können nur Preise aus Ihrem Leistungskatalog genannt werden.
- Jede mögliche Antwort durchläuft Guardrails vor der Sprachausgabe (Text-to-Speech), und Aktionen wie Buchungen müssen einen bestätigenden Status zurückgeben, bevor der Agent sie als erledigt meldet.
- Die Unterstützung arabischer Dialekte umfasst Golf-, levantinisches und ägyptisches Arabisch, dazu zehn weitere Sprachen.
- Jeder KI-Anruf liefert ein Ergebnis mit Aufzeichnung und Transkript und wird ins CRM übertragen. Agentenversionen lassen sich veröffentlichen und zurücksetzen, und Notschalter stoppen einen Agenten, eine Kampagne oder alle KI-Anrufe.
- Sie wird nach Nutzung abgerechnet, mit verwalteten Modellschlüsseln oder Ihren eigenen Schlüsseln. SOC 2 Type II ist geplant, nicht vorhanden, und Single Sign-On ist verfügbar; das Trust Center führt den Status jedes Punkts auf.
Mehr Details finden Sie auf den Seiten KI-Sprachagent und Agent Studio . Und dann prüfen Sie sie wie jeden anderen Anbieter mit der Matrix.
Fragen
KI-Sprachagenten bewerten: FAQ
Was sollte ich beim Vergleich von KI-Sprachagenten messen?
Warum Median- und p95-Latenz statt eines Durchschnitts?
Warum enthält diese Matrix keine Bewertungen von Anbietern?
Wie lange sollte ein Pilotprojekt für einen KI-Sprachagenten laufen?
Was ist das größte Warnsignal in einem Pilotprojekt für einen KI-Sprachagenten?
Sollten wir arabische Dialekte separat testen?
Testen Sie es mit Ihren eigenen Anrufen
Buchen Sie eine Demo, um ein Pilotprojekt rund um Ihre Anruftypen und Sprachen zu planen, oder starten Sie eine 14-tägige kostenlose Testphase der Plattform.
Mehr aus dem Einkaufsratgeber
Übersicht Einkaufsratgeber
Alle drei Ressourcen und wann Sie welche nutzen.
RFP-Checkliste
Die schriftlichen Fragen, die an jeden Anbieter zu senden sind.
KI oder Mensch?
Welche Anrufe Sie automatisieren und welche bei Menschen bleiben sollten.
Preise
Tarife pro Agent und wie KI-Nutzung abgerechnet wird.