बेंचमार्क
स्पीच-टू-स्पीच और वॉइस एजेंट बेंचमार्क
पूरी कार्यप्रणाली के साथ, अन्य प्रोडक्शन स्पीच-टू-स्पीच मॉडल्स की तुलना में स्मॉलेस्ट हाइड्रा (Smallest Hydra) के लिए वॉइस-टू-वॉइस लेटेंसी और टास्क एक्यूरेसी।
अंतिम बार अपडेट किया गया
16 अक्टूबर 2026
अनुभाग 01
हम बेंचमार्क कैसे करते हैं
पैरामीटर पहले ही स्पष्ट रूप से बता दिए गए हैं, न कि किसी खुलासे के पीछे छिपाए गए हैं। सार्वजनिक बेंचमार्क को ओवरफिट और प्रभावित किया जा सकता है, जो कि आपकी कार्यप्रणाली को दिखाने का एक तर्क है, न कि किसी एक संख्या के पीछे छिपने का।
डेटासेट
ईएसबी (ESB) सुइट, 9 डेटासेट, अंग्रेजी। बहुभाषी के लिए फ्लर्स (FLEURS), 26 भाषाएं। खराब रिकॉर्डिंग स्थितियों के लिए वाइल्डएएसआर (WildASR)। आंतरिक अंग्रेजी और हिंदी विरूपण (perturbation) सुइट्स। इमर्जेंटटीटीएस (EmergentTTS), 1,645-नमूनों के सार्वजनिक सेट से लिए गए 1,088 नमूने। एआईईडब्ल्यूएफ (AIEWF), 30 टर्न के 10 रनों में 300 कार्य। साथ ही 44 वास्तविक हिंदी-अंग्रेजी संग्रह कॉल।
सटीकता मीट्रिक
Whisper नॉर्मलाइज़र के तहत शब्द त्रुटि दर (Word error rate), साथ में वर्ण त्रुटि दर (character error rate) भी दी गई है। यह विकल्प महत्वपूर्ण है: एक तीसरे पक्ष के बोर्ड ने पल्स को 8.0% पर रिपोर्ट किया, जहां इनवर्स टेक्स्ट नॉर्मलाइज़ेशन ने शब्दों में लिखे गए नंबरों को त्रुटियों के रूप में गिना, जबकि अन्यथा यह 5.1% था। नंबरों से भरपूर कॉल ऑडियो पर नॉर्मलाइज़र उत्तर को बदल देता है।
विलंबता मीट्रिक
पहले ट्रांसक्रिप्ट का समय भाषण के समाप्त होने से लेकर पूरे ट्रांसक्रिप्ट तक चलता है। पहले बाइट का समय प्राप्त पहला ऑडियो बाइट होता है। वॉयस-टू-वॉयस का मतलब उपयोगकर्ता के भाषण के समाप्त होने से लेकर एजेंट के ऑडियो शुरू होने तक का समय है। इसे P50, P90, P95 और P99 के रूप में रिपोर्ट किया जाता है, जहाँ भी रन ने उन्हें उत्पन्न किया है।
ग्राउंड ट्रुथ (वास्तविक तथ्य)
कॉल बेंचमार्क के लिए मैन्युअल मानव ट्रांसक्रिप्शन। सार्वजनिक डेटासेट अपने स्वयं के प्रकाशित संदर्भों का उपयोग करते हैं, जिनमें कोई संशोधन नहीं किया गया है।
हार्डवेयर
सिंगल L40S, 48 GB पर थ्रूपुट। 16 kHz linear16 पर स्ट्रीमिंग परीक्षण। प्रतिस्पर्धी मॉडल उनके सार्वजनिक प्रोडक्शन API के माध्यम से कॉल किए गए हैं, न कि सेल्फ-होस्टेड।
रीफ़्रेश करने की आवृत्ति
त्रैमासिक रूप से, और तुरंत जैसे ही तुलना सेट में कोई भी मॉडल नया संस्करण शिप करता है। प्रत्येक तालिका की अपनी माप तिथि होती है।
इसे फिर से बनाएं
मूल्यांकन वॉकथ्रू और स्क्रिप्ट सार्वजनिक हैं, और नीचे दिए गए प्रत्येक परिणाम को आपके अपने ऑडियो के साथ फिर से जनरेट किया जा सकता है।
अनुभाग 02: बीटा
भाषण-से-भाषण
AIEWF बेंचमार्क पर 9 प्रोडक्शन मॉडलों में वॉयस-टू-वॉयस लेटेंसी (देरी): 300 कार्य, 30 बारी वाले 10 रन
टूल-कॉल वॉइस-टू-वॉइस लेटेंसी, औसत
जितना कम हो उतना बेहतर है। बिंदीदार रेखा (डैश्ड लाइन) 2 सेकंड को दर्शाती है, जहाँ से प्रतिक्रिया धीमी महसूस होने लगती है।
बिना किसी टूल वाले वॉयस-टू-वॉयस का मीडियन 864 मिलीसेकंड है, जो इस सेट में सबसे तेज़ गति के बराबर है। परसेंटाइल डिस्ट्रीब्यूशन अभी तक प्रकाशित नहीं किए गए हैं।
सबसे छोटा मापा गया
कार्य प्रदर्शन, AIEWF सफलता दर और ऑडियो मल्टीचैलेंज
मॉडल
हाइड्रा
अल्ट्रावॉक्स v0.7
जीपीटी रीयलटाइम 1.5
जीपीटी रीयलटाइम
जीपीटी रीयलटाइम 2
डब्ल्यूईआर (WER)
95.9
97.7%
93.3%
86.7%
नहीं चला
ऑडियो मल्टीचैलेंज
35.52%
नहीं चला
34.73%
नहीं चला
37.61%
स्रोत डेटा और आगे पढ़ने के लिए सामग्री
अनुभाग 03
अक्सर पूछे जाने वाले प्रश्न
वॉइस-टू-वॉइस लेटेंसी को कैसे मापा जाता है?
TTFB, TTFT और वॉइस-टू-वॉइस (voice-to-voice) के बीच क्या अंतर है?
स्पीच-टू-स्पीच को बीटा के रूप में क्यों चिह्नित किया गया है?
क्या ये संख्याएं स्वतंत्र हैं?
ये बेंचमार्क कितनी बार रीफ़्रेश किए जाते हैं?
क्या मैं इन परिणामों को दोहरा सकता हूँ?