बेंचमार्क
वॉइस एआई बेंचमार्क
स्पीच-टू-टेक्स्ट, टेक्स्ट-टू-स्पीच और स्पीच-टू-स्पीच में पल्स, लाइटनिंग और हाइड्रा के नतीजे, पूरी कार्यप्रणाली और पुनरुत्पादनीय स्क्रिप्ट के साथ।
अंतिम बार अपडेट किया गया
16 अक्टूबर 2026
अनुभाग 01
तीन संख्याएँ, प्रमाण के तीन स्तर
इस पेज पर मौजूद हर आंकड़े पर एक बैज लगा है, जिसमें इसे मापने वाले का नाम लिखा है। इन तीनों में से केवल एक ही स्वतंत्र रूप से सत्यापित करने योग्य है, और हम ऐसा कहते हैं।
पल्स प्रो · एसटीटी
5.42%
औसत ईएसबी (ESB) शब्द त्रुटि दर
सार्वजनिक ओपन एएसआर (Open ASR) लीडरबोर्ड पर 8 डेटासेट में 86 प्रणालियों में से संयुक्त रूप से दूसरे स्थान पर रहा।
लाइटनिंग v3.1 · टीटीएस
~200ms
पहले बाइट तक का समय (टाइम टू फर्स्ट बाइट)
वेबसॉकेट स्ट्रीमिंग पर एक साथ 40 अनुरोधों पर। एक L40S पर रीयल-टाइम फैक्टर 3.3×।
इस पेज पर तुलना किए गए प्रदाता
डीपग्राम
कार्टेशिया
ओपनएआई
असेंबलीएआई
मर्फ
स्पीचमैटिक्स
वेलसैड
सोनियोक्स
ग्लैडिया
एनवीडिया
इलेवनलैब्स
सर्वम
पूरे बेंचमार्क देखें
स्पीच-टू-टेक्स्ट
पल्स (Pulse) के लिए वर्ड एरर रेट, लेटेंसी और रियल-कॉल एक्यूरेसी। पल्स प्रो (Pulse Pro) पर 5.42% औसत ESB वर्ड एरर रेट, ओपन ASR लीडरबोर्ड पर 86 में से संयुक्त रूप से दूसरे स्थान पर।
टेक्स्ट-टू-स्पीच
Lightning के लिए श्रोता की प्राथमिकता, गुणवत्ता स्कोर और पहले ऑडियो का समय। 40 समवर्ती (concurrent) अनुरोधों पर पहले बाइट के लिए लगभग 200 मिलीसेकंड।
स्पीच-टू-स्पीच
हाइड्रा (Hydra) के लिए वॉइस-टू-वॉइस लेटेंसी और टास्क सटीकता। टूल कॉल्स पर 1,624 मिलीसेकंड, 9 प्रोडक्शन मॉडल्स में सबसे तेज़।
अनुभाग 02
हम बेंचमार्क कैसे करते हैं
पैरामीटर पहले ही स्पष्ट रूप से बता दिए गए हैं, न कि किसी खुलासे के पीछे छिपाए गए हैं। सार्वजनिक बेंचमार्क को ओवरफिट और प्रभावित किया जा सकता है, जो कि आपकी कार्यप्रणाली को दिखाने का एक तर्क है, न कि किसी एक संख्या के पीछे छिपने का।
डेटासेट
ईएसबी (ESB) सुइट, 9 डेटासेट, अंग्रेजी। बहुभाषी के लिए फ्लर्स (FLEURS), 26 भाषाएं। खराब रिकॉर्डिंग स्थितियों के लिए वाइल्डएएसआर (WildASR)। आंतरिक अंग्रेजी और हिंदी विरूपण (perturbation) सुइट्स। इमर्जेंटटीटीएस (EmergentTTS), 1,645-नमूनों के सार्वजनिक सेट से लिए गए 1,088 नमूने। एआईईडब्ल्यूएफ (AIEWF), 30 टर्न के 10 रनों में 300 कार्य। साथ ही 44 वास्तविक हिंदी-अंग्रेजी संग्रह कॉल।
सटीकता मीट्रिक
Whisper नॉर्मलाइज़र के तहत शब्द त्रुटि दर (Word error rate), साथ में वर्ण त्रुटि दर (character error rate) भी दी गई है। यह विकल्प महत्वपूर्ण है: एक तीसरे पक्ष के बोर्ड ने पल्स को 8.0% पर रिपोर्ट किया, जहां इनवर्स टेक्स्ट नॉर्मलाइज़ेशन ने शब्दों में लिखे गए नंबरों को त्रुटियों के रूप में गिना, जबकि अन्यथा यह 5.1% था। नंबरों से भरपूर कॉल ऑडियो पर नॉर्मलाइज़र उत्तर को बदल देता है।
विलंबता मीट्रिक
पहले ट्रांसक्रिप्ट का समय भाषण के समाप्त होने से लेकर पूरे ट्रांसक्रिप्ट तक चलता है। पहले बाइट का समय प्राप्त पहला ऑडियो बाइट होता है। वॉयस-टू-वॉयस का मतलब उपयोगकर्ता के भाषण के समाप्त होने से लेकर एजेंट के ऑडियो शुरू होने तक का समय है। इसे P50, P90, P95 और P99 के रूप में रिपोर्ट किया जाता है, जहाँ भी रन ने उन्हें उत्पन्न किया है।
ग्राउंड ट्रुथ (वास्तविक तथ्य)
कॉल बेंचमार्क के लिए मैन्युअल मानव ट्रांसक्रिप्शन। सार्वजनिक डेटासेट अपने स्वयं के प्रकाशित संदर्भों का उपयोग करते हैं, जिनमें कोई संशोधन नहीं किया गया है।
हार्डवेयर
सिंगल L40S, 48 GB पर थ्रूपुट। 16 kHz linear16 पर स्ट्रीमिंग परीक्षण। प्रतिस्पर्धी मॉडल उनके सार्वजनिक प्रोडक्शन API के माध्यम से कॉल किए गए हैं, न कि सेल्फ-होस्टेड।
रीफ़्रेश करने की आवृत्ति
त्रैमासिक रूप से, और तुरंत जैसे ही तुलना सेट में कोई भी मॉडल नया संस्करण शिप करता है। प्रत्येक तालिका की अपनी माप तिथि होती है।
इसे फिर से बनाएं
मूल्यांकन वॉकथ्रू और स्क्रिप्ट सार्वजनिक हैं, और नीचे दिए गए प्रत्येक परिणाम को आपके अपने ऑडियो के साथ फिर से जनरेट किया जा सकता है।
अनुभाग 03
कार्यप्रणाली और परिवर्तन लॉग
डेटासेट इन्वेंट्री, उत्पत्ति नीति (provenance policy), और वे खुले मामले जिन्हें हमने हल नहीं किया है।
डेटासेट इन्वेंट्री
बेंचमार्क
ईएसबी सूट
फ्लर्स
वाइल्ड एएसआर (WildASR)
इमर्जेंटटीटीएस (EmergentTTS)
एआईईडब्ल्यूएफ (AIEWF)
ऑडियो मल्टी-चैलेंज
हिंदी-अंग्रेज़ी कॉल
पर्टर्बेशन सूट्स
दायरा
9 डेटासेट, अंग्रेजी
26 भाषाएँ, बोली जाने वाली भाषा पढ़ें
7 गिरावट की स्थितियां
1645 नमूनों में से 1,088
300 कार्य, 10x30 बारी
बहु-चरणीय ऑडियो तर्क (Multi-turn audio reasoning)
44 संग्रह रिकॉर्डिंग
अंग्रेजी और हिंदी
में उपयोग किया जाता है
स्पीच-टू-टेक्स्ट पेज
स्पीच-टू-टेक्स्ट पेज
स्पीच-टू-टेक्स्ट पेज
टेक्स्ट-टू-स्पीच पेज
स्पीच-टू-स्पीच पेज
स्पीच-टू-स्पीच पेज
स्पीच-टू-टेक्स्ट और टेक्स्ट-टू-स्पीच पेज
स्पीच-टू-टेक्स्ट पेज
सार्वजनिक रूप से उपलब्ध
हाँ
हाँ
हाँ
हाँ
हाँ
हाँ
नहीं, आंतरिक
नहीं, आंतरिक
अनुभाग 04
अक्सर पूछे जाने वाले प्रश्न
वर्ड एरर रेट (शब्द त्रुटि दर) क्या है?
TTFB, TTFT और वॉइस-टू-वॉइस में क्या अंतर है?
क्या ये संख्याएं स्वतंत्र हैं?
विस्तृत परिणाम कहाँ हैं?
ये बेंचमार्क कितनी बार रीफ़्रेश किए जाते हैं?
क्या मैं इन परिणामों को दोहरा सकता हूँ?