Panduan pembeli · Matriks penilaian
Agen Suara AI Matriks Evaluasi
Dua puluh kriteria, masing-masing dengan apa yang diuji, cara mengujinya dalam pilot, dan tanda bahayanya. Matriks ini sengaja dibiarkan kosong: Anda menilai vendor berdasarkan panggilan Anda sendiri, bukan dari materi pemasaran siapa pun, termasuk milik kami.
Jawaban singkat
Bagaimana cara mengevaluasi agen suara AI? Jalankan pilot singkat pada panggilan Anda sendiri dan nilai setiap vendor dengan kriteria yang sama: integrasi telepon, BYOC, interoperabilitas SIP dan SBC, penanganan panggilan masuk dan keluar, barge-in, latensi respons yang diukur sebagai median dan p95, tool calling, grounding pengetahuan, pengalihan ke manusia, write-back ke CRM, observabilitas, auditabilitas, bahasa dan dialek Arab, keamanan, deployment, residensi data, transparansi harga, dan dukungan. Untuk setiap kriteria, uji sendiri, sengaja picu kegagalan, dan nilai hanya apa yang Anda amati. Jangan mengandalkan skor yang dipublikasikan untuk vendor mana pun.
Bagaimana cara menggunakan matriks ini?
Demo agen suara AI adalah pertunjukan yang dilatih pada panggilan pilihan vendor. Matriks ini menggantinya dengan bukti dari panggilan pilihan Anda. Sebelum menghubungi vendor mana pun:
- Tentukan jenis panggilan. Nilai agen pada panggilan yang benar-benar ingin Anda otomatisasi. Jika belum memilihnya, pelajari AI atau Manusia? Panggilan Mana yang Diotomatisasi first.
- Tetapkan bobot terlebih dahulu. Beri setiap kriteria bobot 1 sampai 3 sebelum pilot dimulai. Saluran booking klinik mungkin memberi bobot 3 pada tool calling dan dialek Arab serta 1 pada panggilan keluar; tim penagihan mungkin sebaliknya.
- Nilai 0 sampai 3 berdasarkan bukti. 3 berarti terbukti berfungsi pada panggilan Anda; 2 berarti berfungsi dengan masalah kecil; 1 berarti berfungsi sebagian atau hanya ditunjukkan dalam demo; 0 berarti tidak berfungsi atau tidak tersedia. Kalikan dengan bobot lalu jumlahkan.
- Tandai faktor penggugur. Beberapa tanda bahaya mengakhiri evaluasi berapa pun totalnya, misalnya agen yang mengonfirmasi tindakan yang gagal, atau panggilan AI keluar yang melewati daftar DNC Anda.
Untuk pertanyaan tertulis yang dikirim sebelum pilot, gunakan bagian agen suara AI dalam Daftar Periksa RFP Pusat Kontak.
Matriks evaluasi
Kosong dan dapat digunakan ulang. Cetak satu salinan per vendor. Geser ke samping di ponsel.
| Kriteria | Yang diuji | Cara mengujinya dalam pilot | Tanda bahaya | Bobot (1–3) | Nilai (0–3) |
|---|---|---|---|---|---|
| Integrasi telepon | Apakah agen berjalan di sistem telepon yang sama dengan agen manusia Anda, sehingga dapat menerima transfer, menggunakan antrean Anda, dan menampilkan caller ID Anda. | Rutekan satu DID sungguhan ke agen dan lakukan transfer dari agen ke antrean manusia lalu kembali. Periksa caller ID yang terlihat di ponsel uji Anda pada panggilan keluar. | Agen hanya berfungsi di nomor atau aplikasi terpisah; transfer kehilangan konteks atau memerlukan panggilan baru. | ||
| BYOC | Apakah agen dapat membawa panggilan melalui operator atau trunk SIP Anda yang ada. | Jalankan pilot di trunk Anda sendiri, bukan trunk demo vendor. Bandingkan kualitas audio dan penyiapan panggilan di keduanya. | Pilot hanya dapat dilakukan di operator milik vendor; biaya per menit untuk panggilan melalui trunk Anda sendiri yang tidak tercantum dalam penawaran. | ||
| SIP dan SBC | Interoperabilitas dengan PBX atau SBC Anda: signaling, codec, DTMF, dan cara kegagalan ditangani. | Minta engineer telepon Anda meninjau trace panggilan. Uji input DTMF, hold, dan pihak lawan yang menutup telepon di tengah kalimat. | Tidak ada seorang pun di pihak vendor yang dapat membaca trace SIP; masalah audio satu arah atau DTMF dianggap sekadar kasus langka. | ||
| Inbound | Cara agen menjawab, mengidentifikasi penelepon, dan merutekan atau menyelesaikan permintaan. | Lakukan dua puluh panggilan masuk dengan lima alasan menelepon teratas Anda yang sebenarnya, dari ponsel yang berbeda, dan catat apa yang terjadi pada masing-masing. | Hanya berfungsi dengan skrip demo; menanyakan informasi kepada penelepon yang sebenarnya sudah ada di sistem. | ||
| Panggilan keluar | Apakah agen dapat menjalankan kampanye keluar dengan kontrol daftar, pengaturan ritme, jam panggilan, dan DNC yang sama dengan kampanye manusia. | Jalankan daftar panggilan keluar kecil hanya ke nomor uji internal. Sertakan satu nomor dari daftar DNC Anda dan satu di luar jam panggilan; keduanya harus diblokir. | Panggilan AI keluar melewati kontrol yang berlaku untuk kampanye manusia; tidak ada catatan mengapa panggilan dilakukan atau tidak dilakukan. | ||
| Barge-in | Apakah penelepon dapat menyela dan agen berhenti, mendengarkan, lalu menanggapi selaan tersebut. | Sela di tengah sapaan, di tengah kalimat, dan di tengah penyebutan angka. Coba sela singkat dan batuk; keduanya tidak boleh mengacaukan panggilan. | Agen terus berbicara saat penelepon bicara, atau berhenti setiap ada suara latar. | ||
| Latensi | Waktu respons dari akhir ucapan penelepon hingga kata pertama balasan yang terdengar. Ukur median dan p95, bukan hanya rata-rata. | Ukur dari rekaman panggilan pilot Anda sendiri, di trunk Anda, dalam bahasa Anda. Laporkan median dan p95 per bahasa dan per jenis panggilan, termasuk giliran yang memanggil tool. | Vendor menyebutkan satu angka tetapi tidak dapat menjelaskan cara pengukurannya; jeda panjang pada giliran yang mencari data; latensi hanya ditunjukkan dari laboratorium, bukan dari panggilan Anda. | ||
| Tool calling | Apakah agen dapat melakukan tindakan nyata (booking, menjadwalkan ulang, mencari pesanan, mencatat janji bayar) dan memastikan tindakan berhasil sebelum memberi tahu penelepon. | Buat, pindahkan, dan batalkan janji temu uji, lalu periksa sistem tujuan. Picu kegagalan, misalnya slot yang penuh, dan dengarkan apa yang disampaikan kepada penelepon. | Agen mengatakan “selesai” padahal tindakannya gagal; tindakan tidak terlihat di sistem Anda setelahnya. | ||
| Grounding pengetahuan | Apakah jawaban berasal dari konten Anda yang disetujui, dan apa yang dilakukan agen jika jawabannya tidak ada. | Ajukan sepuluh pertanyaan yang dijawab dokumen Anda dan lima yang tidak. Tanyakan harga yang tidak ada dalam daftar harga Anda. | Mengarang jawaban atau harga alih-alih mengatakan tidak tahu dan menawarkan seseorang. | ||
| Pengalihan ke manusia | Kapan dan bagaimana agen mengalihkan ke seseorang, dan apa yang diterima orang tersebut. | Minta langsung berbicara dengan manusia, terdengar kesal, dan angkat topik yang tidak boleh ditangani agen. Periksa apakah orang tersebut melihat transkrip dan alasannya. | Penelepon harus mengulang semuanya; tidak ada pengalihan di luar jam kerja dan tidak ada tawaran panggilan balik; agen membantah permintaan untuk berbicara dengan seseorang. | ||
| Write-back ke CRM | Apakah hasil, ringkasan, rekaman, dan transkrip masuk ke CRM Anda pada data yang tepat. | Setelah setiap panggilan pilot, buka data di CRM. Periksa apakah hasil, ringkasan, dan tautan tersedia dan terlampir pada kontak yang benar. | Hasil tetap berada di konsol vendor; write-back memerlukan proyek kustom yang ditawarkan terpisah. | ||
| Observabilitas | Apa yang dapat Anda lihat saat sistem berjalan: panggilan langsung, error, latensi, tingkat pengalihan, tool call yang gagal. | Minta supervisor Anda menemukan, tanpa bantuan vendor, tiga panggilan terburuk selama pilot dan alasan masing-masing gagal. | Hanya dasbor agregat; tidak ada rekaman dan transkrip per panggilan; error hanya terlihat oleh vendor. | ||
| Auditabilitas | Apakah Anda dapat merekonstruksi apa yang dikatakan dan dilakukan agen pada panggilan mana pun, dan versi konfigurasi mana yang aktif saat itu. | Pilih panggilan dari seminggu lalu. Ambil rekaman, transkrip, tindakan yang dilakukan, dan versi agen yang menanganinya. | Perubahan konfigurasi tidak diberi versi; tidak ada cara untuk mengetahui prompt atau basis pengetahuan mana yang menjawab panggilan sebelumnya. | ||
| Bahasa | Bahasa apa saja yang berfungsi di produksi pada panggilan nyata, termasuk berganti bahasa di tengah panggilan. | Libatkan penutur asli dari tim Anda sendiri untuk setiap bahasa yang Anda butuhkan. Ganti bahasa di tengah satu panggilan. | Daftar bahasa diambil dari katalog penyedia speech, bukan dari panggilan yang diuji; aksen merusak pengenalan suara. | ||
| dialek Arab | Apakah agen memahami dan menjawab dalam dialek yang digunakan penelepon Anda (misalnya Teluk, Levant, Mesir), bukan hanya Bahasa Arab Standar Modern. | Minta penelepon dari setiap dialek yang Anda layani mengajukan permintaan yang sama. Tanyakan apakah balasannya terdengar alami atau seperti terjemahan. | Membalas dalam bahasa Arab formal kepada penelepon berdialek; angka, tanggal, atau nama salah dikenali dalam dialek. | ||
| Keamanan | Enkripsi, isolasi tenant, kontrol akses, dan log audit, serta cara penyedia AI memproses data panggilan Anda. | Jalankan kuesioner keamanan standar Anda. Tanyakan penyedia AI mana yang menerima audio atau teks dan apakah data Anda melatih model bersama. | Sertifikasi disebut sudah dimiliki padahal baru direncanakan; tidak ada jawaban tentang tempat audio diproses; single sign-on dijelaskan secara samar tanpa tanggal roadmap. | ||
| Deployment | Cara agen dikonfigurasi, diuji, dipublikasikan, dan di-rollback, serta siapa di tim Anda yang dapat melakukannya. | Minta admin Anda sendiri mengubah sapaan, memublikasikannya, mengujinya, dan me-rollback-nya tanpa bantuan vendor. | Setiap perubahan memerlukan tiket ke vendor; tidak ada lingkungan uji; tidak ada rollback. | ||
| Residensi data | Lokasi audio, transkrip, rekaman, dan pemrosesan AI, serta apakah lokasi tersebut dapat dipilih. | Dapatkan jawaban tertulis untuk setiap jenis data, termasuk penyedia model AI, dan periksa terhadap persyaratan regulator Anda. | Residensi hanya disebutkan untuk database, sementara audio dikirim ke penyedia AI di negara lain. | ||
| Transparansi harga | Cara penggunaan ditagih (per menit, per panggilan, per token), apa saja yang termasuk, dan apakah Anda dapat membatasi pengeluaran. | Minta estimasi tagihan untuk volume pilot dan bandingkan dengan tagihan pilot sebenarnya. | Harga pilot berbeda dari harga produksi; biaya untuk panggilan yang gagal atau ditransfer tidak diungkapkan; tidak ada batas pengeluaran. | ||
| Dukungan | Siapa yang membantu saat terjadi masalah, pada jam dan bahasa apa, dan seberapa cepat. | Ajukan satu tiket dukungan sungguhan selama pilot dan catat waktu respons pertama serta penyelesaiannya. | Pilot didukung oleh sales engineer, produksi oleh antrean yang tidak pernah Anda temui; tidak ada jalur eskalasi. | ||
| Total berbobot (jumlah bobot × nilai) | |||||
Jangan menilai pesaing dari situs web mereka, dan jangan meminta vendor mengisi matriks ini untuk Anda. Setiap sel harus diisi oleh tim Anda dari panggilan yang Anda lakukan, dengar, atau tinjau.
Bagaimana cara mengukur latensi?
Latensi adalah kriteria yang paling sering dijawab vendor dengan satu angka, dan yang paling sering diterima pembeli tanpa diperiksa. Ukur sendiri:
- Definisikan jedanya. Dari saat penelepon berhenti berbicara hingga kata pertama balasan yang terdengar, sebagaimana didengar di ponsel penelepon. Bukan waktu yang dibutuhkan model, dan bukan waktu yang diukur di dalam server vendor.
- Gunakan rekaman Anda. Ambil rekaman panggilan pilot Anda dan ukur jedanya pada setiap giliran agen, atau pada sampel giliran yang tetap.
- Laporkan median dan p95. Median adalah balasan yang umum. P95 adalah yang paling lambat satu dari dua puluh, dan biasanya di situlah penelepon mulai berkata “halo?”.
- Pisahkan. Laporkan secara terpisah per bahasa dan untuk giliran di mana agen memanggil tool, seperti memeriksa kalender. Giliran tersebut lebih lambat, dan justru paling penting.
- Gunakan jaringan Anda. Ukur di trunk Anda sendiri dan jaringan penelepon Anda. Latensi di saluran demo vendor hanya menggambarkan saluran demo itu.
Kemudian tetapkan ambang Anda sendiri, sebelum melihat hasil vendor mana pun, untuk median dan p95 yang dapat Anda terima pada panggilan Anda.
Dua minggu
Bagaimana menjalankan pilot agen suara AI selama 2 minggu?
Jalankan rencana yang sama dengan setiap vendor dalam daftar pendek Anda, idealnya secara paralel, agar kondisinya sama.
- 1
Sebelum hari ke-1
Sepakati cakupan secara tertulis
Pilih satu atau dua jenis panggilan dari daftar cocok untuk AI dalam kerangka kerja AI atau Manusia. Tuliskan definisi keberhasilan: porsi panggilan yang terselesaikan sepenuhnya, porsi yang dialihkan dengan benar ke seseorang, latensi median dan p95 yang dapat Anda terima, dan error yang langsung mengakhiri pilot. Sepakati bahwa pilot berjalan dengan nomor Anda sendiri, trunk Anda sendiri jika memungkinkan, dan konten Anda sendiri.
- 2
Hari ke-1 sampai 3
Konfigurasi dan uji secara internal
Muat konten pengetahuan dan daftar harga Anda, hubungkan kalender atau CRM yang harus ditulisi agen, dan tetapkan tujuan pengalihan. Staf Anda sendiri, bukan vendor, yang melakukan panggilan uji sesuai kriteria di atas. Perbaiki masalah konfigurasi sebelum ada pelanggan yang mendengar agen.
- 3
Hari ke-4 sampai 5
Jalankan set uji berskrip
Jalankan set panggilan uji yang tetap terhadap setiap vendor dengan cara yang sama: permintaan yang sama, selaan yang sama, kegagalan yang sengaja dipicu dengan cara yang sama, dialek yang sama. Rekam setiap panggilan. Inilah bagian perbandingan yang setara.
- 4
Hari ke-6 sampai 12
Trafik langsung, kecil dan diawasi
Rutekan sebagian kecil panggilan nyata yang terdefinisi ke agen, misalnya satu DID atau satu jam dalam sehari, dengan supervisor yang mendengarkan dan siap mengambil alih. Simpan kill switch di tangan tim Anda. Tinjau sampel rekaman setiap hari dan catat setiap kegagalan berdasarkan jenisnya.
- 5
Hari ke-13 sampai 14
Ukur dan nilai
Hitung median dan p95 latensi respons dari rekaman, tingkat penyelesaian dan pengalihan, serta tindakan yang gagal. Isi matriks berdasarkan apa yang Anda amati. Lalu tanyakan pendapat orang-orang yang menangani pengalihan dan penelepon yang dapat Anda hubungi: pengalaman penelepon lebih penting daripada dasbor mana pun.
Aturan dasar untuk bagian langsung pilot
- Panggilan pilot keluar hanya ditujukan kepada orang yang telah setuju menerimanya, dalam jam panggilan Anda, dengan daftar DNC Anda diterapkan.
- Beri tahu penelepon bahwa mereka berbicara dengan agen AI jika aturan atau kebijakan internal Anda mewajibkannya, dan selalu tawarkan seseorang.
- Simpan tombol penghenti agen di tangan tim Anda, bukan hanya di tangan vendor.
- Hentikan pilot segera jika agen mengonfirmasi tindakan yang tidak terjadi, atau memberikan nasihat yang tidak dikonfigurasi untuk diberikan.
Di mana posisi DialerBee?
Kami tidak memublikasikan skor untuk diri kami sendiri pada matriks ini, dengan alasan yang sama kami tidak memublikasikan skor untuk siapa pun. Yang dapat kami sampaikan adalah apa yang perlu diperhatikan saat Anda melakukan pilot agen suara AI kami, Layla, agar Anda dapat memeriksanya:
- Layla berjalan di platform yang sama dengan agen manusia: panggilan masuk yang dirutekan dari DID, kampanye AI keluar, dan pengalihan ke agen manusia.
- Penelepon dapat menyela (barge-in), jawaban berasal dari basis pengetahuan Anda, dan hanya harga dalam katalog layanan Anda yang dapat disebutkan.
- Setiap kandidat balasan melewati guardrail sebelum text-to-speech, dan tindakan seperti booking harus mengembalikan status konfirmasi sebelum agen menyatakannya selesai.
- Penanganan dialek Arab mencakup bahasa Arab Teluk, Levant, dan Mesir, ditambah sepuluh bahasa lainnya.
- Setiap panggilan AI menghasilkan hasil beserta rekaman dan transkrip, dengan pengiriman ke CRM. Versi agen dapat dipublikasikan dan di-rollback, dan kill switch dapat menghentikan satu agen, satu kampanye, atau seluruh panggilan AI.
- Layla ditagih berdasarkan penggunaan, dengan kunci model terkelola atau kunci Anda sendiri. SOC 2 Type II direncanakan, belum dimiliki, dan single sign-on sudah tersedia; Trust Center mencantumkan status setiap item.
Detail selengkapnya tersedia di halaman Agen suara AI dan Agent Studio . Lalu uji dengan matriks seperti vendor lainnya.
Pertanyaan
Mengevaluasi agen suara AI: FAQ
Apa yang harus diukur saat membandingkan agen suara AI?
Mengapa latensi median dan p95, bukan rata-rata?
Mengapa matriks ini tidak mencantumkan skor untuk vendor mana pun?
Berapa lama pilot agen suara AI sebaiknya berjalan?
Apa tanda bahaya terbesar dalam pilot agen suara AI?
Apakah dialek Arab perlu diuji secara terpisah?
Uji coba pada panggilan Anda sendiri
Jadwalkan demo untuk merencanakan pilot berdasarkan jenis panggilan dan bahasa Anda, atau mulai uji coba gratis platform selama 14 hari.
Lainnya dari panduan pembeli