Benchmark
Kinerja AMD. Diukur dengan jujur.
Metodologi benchmark kami, metrik yang kami pantau, bahasa yang kami uji, dan keterbatasan yang kami akui. Jika kami tidak memiliki angka yang diukur pada trafik seperti milik Anda, kami akan mengatakannya alih-alih mengutip angka.
Jawaban singkat
Apa yang diukur oleh benchmark DialerBee? Benchmark ini mengukur akurasi AMD berbasis AI: model mengklasifikasikan transkrip real-time dari 3 detik pertama audio panggilan sebagai manusia atau mesin penjawab, dan kami melakukan benchmark tersebut pada 9 dari 11 bahasa yang didukung (bahasa Portugis dan bahasa Indonesia belum termasuk dalam data pilot), berbagai lingkungan carrier, dan jenis kampanye. Data acuan (ground truth) berasal dari koreksi agen: agen yang tidak setuju dengan suatu klasifikasi dapat menandainya dengan satu klik, dan evaluasi dilakukan secara berkelanjutan, bukan sebagai uji laboratorium satu kali. Lima metrik dipantau: akurasi, tingkat positif palsu, tingkat negatif palsu, latensi deteksi, dan tingkat koreksi oleh agen. Angka yang dipublikasikan berasal dari pilot internal dan berlaku pada kondisi pilot tertentu; apabila kami belum memiliki angka yang diukur pada trafik seperti milik Anda, kami akan menyampaikannya secara terbuka alih-alih mengutip suatu angka.
Yang Kami Uji
Akurasi AMD di berbagai bahasa
AMD AI DialerBee menggunakan klasifikasi transkrip pada 3 detik pertama audio panggilan untuk menentukan apakah yang mengangkat adalah manusia atau mesin penjawab. Kami menguji sistem ini di berbagai bahasa, lingkungan operator, dan jenis kampanye untuk mengukur akurasi di dunia nyata.
Berbeda dengan vendor yang melaporkan akurasi dalam kondisi laboratorium, benchmark kami mencerminkan data produksi dengan segala noise, variasi operator, dan perbedaan regional yang muncul pada kampanye outbound sungguhan.
Metodologi
Cara kami mengukur akurasi
Klasifikasi Transkrip
Model AMD mengklasifikasikan transkrip real-time dari 3 detik pertama audio. Model membaca kata dan frasa, bukan gelombang audio atau pola bunyi bip.
Override Agen sebagai Ground Truth
Saat agen tidak setuju dengan klasifikasi AMD, mereka menandainya dengan satu klik. Override ini menjadi label ground truth untuk mengukur akurasi.
Evaluasi Berkelanjutan
Benchmark bukan pengujian sekali jalan. Kami terus mengevaluasi akurasi terhadap aliran override agen di seluruh kampanye produksi.
Metrik yang Dipantau
Lima metrik yang penting
Akurasi
Tingkat klasifikasi yang benar secara keseluruhan di semua panggilan.
Tingkat False Positive
Panggilan manusia yang keliru diklasifikasikan sebagai mesin.
Tingkat False Negative
Panggilan mesin yang keliru diklasifikasikan sebagai manusia.
Latensi Deteksi
Waktu dari panggilan diangkat hingga keputusan klasifikasi AMD.
Tingkat Override Agen
Persentase panggilan di mana agen mengoreksi keputusan AMD.
Ringkasan Benchmark
Ringkasan publik dari pilot internal
Angka terperinci per bahasa, per operator, dan per wilayah dari pilot internal kami tersedia atas permintaan.
| Metrik | Ringkasan Publik | Catatan |
|---|---|---|
| Panggilan yang dievaluasi | Kisaran 10,000–50,000 | Di seluruh kampanye pilot internal |
| Rentang tanggal | Q1–Q2 2026 | Diperbarui saat data pilot baru tersedia |
| Bahasa yang diuji | 9 | EN, AR, ES, FR, IT, DE, TR, HI, UR |
| Wilayah yang diuji | MENA, Eropa, Amerika Utara | Komposisi operator berbeda per wilayah |
| Jenis kampanye | Penagihan, BPO, penjualan, asuransi | Hasil disegmentasi jika memungkinkan |
| Tingkat false positive AMD | Di bawah 3% pada pilot tertentu | Manusia keliru diklasifikasikan sebagai mesin |
| Tingkat false negative AMD | Di bawah 5% pada pilot tertentu | Mesin keliru diklasifikasikan sebagai manusia |
| Median latensi deteksi | Kurang dari 1 detik | Dari diangkat hingga keputusan AMD |
| Latensi deteksi P90 | Di bawah 1,5 detik | Dari diangkat hingga keputusan AMD |
| Tingkat koreksi oleh agen | Kisaran 2–5% | Tingkat koreksi manual pada kampanye pilot |
| Peningkatan contact rate | Hingga 4x dibandingkan panggilan manual | Dalam alur kerja pilot; hasil dapat berbeda |
| Pengurangan waktu idle | Kisaran 30–45% | Pada kampanye pilot tertentu |
Berdasarkan benchmark pilot internal. Hasilnya bervariasi menurut jenis kampanye, kualitas daftar, operator, wilayah, bahasa, konfigurasi pacing, dan alur kerja agen. Perilaku per bahasa dan per operator cukup berbeda sehingga kami lebih memilih mengukurnya di rute Anda sendiri selama pilot daripada mempublikasikan rata-rata yang tidak akan sesuai dengan yang Anda lihat. Sebelum pilot, Anda bisa menilai setup Anda saat ini dengan metodologi ini melalui Penilaian mandiri akurasi AMD.
Bahasa yang Diuji
Sembilan dari sebelas bahasa, data pilot nyata
EN
English
AR
Arab
ES
Spanyol
FR
Prancis
IT
Italia
DE
Jerman
TR
Turki
HI
Hindi
UR
Urdu
Benchmark bahasa Arab mencakup varian dialek Teluk, Levant, dan Mesir. Benchmark Hindi dan Urdu mencakup varian regional. Setiap bahasa diuji secara terpisah dengan rincian per operator dan per wilayah.
Keterbatasan
Yang tidak dapat diungkapkan benchmark
Hasil bervariasi menurut operator. Operator yang berbeda menghasilkan sapaan pesan suara, kualitas audio, dan waktu koneksi yang berbeda.
Hasil bervariasi menurut jenis kampanye. Kampanye penagihan memiliki pola pengangkatan yang berbeda dari kampanye penjualan atau survei.
Hasil bervariasi menurut wilayah. Gaya sapaan pesan suara, infrastruktur operator, dan kondisi jaringan berbeda di setiap pasar.
Hasil bervariasi menurut kualitas daftar. Nomor usang, nomor salah, dan saluran terputus memengaruhi kinerja AMD secara berbeda.
Benchmark mencerminkan kinerja agregat. Hasil kampanye individual bisa lebih tinggi atau lebih rendah dari rata-rata yang dilaporkan.
Data benchmark pilot internal lengkap tersedia atas permintaan
Laporan benchmark pilot internal dengan tabel akurasi per bahasa, rincian per operator, dan data tren historis tersedia bagi calon pelanggan yang memenuhi syarat di bawah NDA. Hubungi tim kami untuk meminta akses.
Minta data benchmark
Jadwalkan demo dan kami akan membagikan hasil benchmark AMD terperinci yang relevan dengan bahasa, wilayah, dan jenis kampanye Anda.