पहले शब्द पर तेज़, सबसे कठिन शब्दों पर सटीक: Speko पर Pulse का बेंचमार्क
Speko ने Smallest AI के Pulse STT का परीक्षण किया: पहले टोकन के लिए ~64ms, टर्न के अंत (end-of-turn) के लिए ~180ms, और वास्तविक दुनिया के शोर-शराबे वाले कॉल ऑडियो पर शीर्ष-स्तरीय 9.9% WER। पूरे परिणाम।
स्पीच-टू-टेक्स्ट मॉडल के परफ़ॉर्मेंस के बारे में आप जो कुछ भी सुनते हैं, उसमें से ज़्यादातर उसे बनाने वाली कंपनी की तरफ़ से आता है। यही वजह है कि जब कोई स्वतंत्र वॉइस एआई गेटवे अपने खुद के आंकड़े पेश करता है, तो यह वाकई मायने रखता है—और Speko ने अभी-अभी Smallest AI के स्ट्रीमिंग + बैच STT, Pulse पर परीक्षण किए हैं।
Speko वह टीम है जिसने Speko वॉइस एआई गेटवे बनाया है: वही गेटवे जो अब प्रोडक्शन में Pulse को चलाता है, जिसे प्लेटफ़ॉर्म पर केवल एक कॉन्फ़िग बदलाव के साथ किसी भी वॉइस एजेंट के लिए रूट किया जा सकता है। जब कोई गेटवे, जिसे अपने खुद के भुगतान करने वाले ग्राहकों के लिए लेटेंसी और सटीकता को लेकर पूरी तरह सही होना पड़ता है, किसी मॉडल का बेंचमार्क करता है, तो उसके नतीजों का एक अलग ही महत्व होता है। यहाँ बताया गया है कि उन्हें क्या मिला।
राउंड वन: दो घड़ियाँ जो वाकई मायने रखती हैं
Pulse पर Speko का पहला विश्लेषण इस शीर्षक के तहत प्रकाशित हुआ था "फास्ट टू द फर्स्ट वर्ड, फास्ट टू द लास्ट वन" (पहले शब्द पर भी तेज़, आखिरी शब्द पर भी तेज़)। उनकी इस बात को दोहराना ज़रूरी है, क्योंकि यह ज़्यादातर STT लीडरबोर्ड के काम करने के तरीके के विपरीत जाती है: साफ़, पहले से रिकॉर्ड किए गए ऑडियो पर वर्ड एरर रेट (WER) एक मानक आँकड़ा है, और यह लाइव वॉइस एजेंट के लिए गलत पैमाना है। कॉल करने वाला आपके STT की सटीकता का अनुभव नहीं करता—वे उसकी लेटेंसी (देरी) का अनुभव करते हैं। बात बंद करने के बाद का सन्नाटा। एजेंट द्वारा जवाब देना शुरू करने से पहले का वो लंबा ठहराव। वही अंतर है जहाँ बातचीत एक सामान्य बातचीत लगना बंद हो जाती है।
इसलिए Speko ने एक के बजाय दो घड़ियों पर नज़र रखी:
मीट्रिक | Pulse |
पहला आंशिक टोकन (First partial token) | ~64 मिलीसेकंड |
टर्न की समाप्ति (भाषण समाप्ति के फ़ाइनलाइज़ेशन के साथ) | ~180 मिलीसेकंड |
WER — अंग्रेज़ी (FLEURS, n=50) | 5.1% |
ज़्यादातर स्ट्रीमिंग STT मॉडल इनमें से किसी एक ही घड़ी पर बेहतर प्रदर्शन करते हैं। Speko का निष्कर्ष यह था कि Pulse वह दुर्लभ मॉडल है जो वास्तव में दोनों पर ही तेज़ है। पहले आंशिक टोकन लगभग 64 मिलीसेकंड में आ जाते हैं—जब कॉलर अभी वाक्य के बीच में ही होता है, तभी ट्रांसक्रिप्ट पहले से ही स्क्रॉल हो रही होती है, जो कि डाउनस्ट्रीम LLM के लिए बहुत मायने रखता है जिसे तर्क शुरू करने के लिए शुरुआती बढ़त की आवश्यकता होती है। और टर्न के अंत में, भाषण समाप्ति के फ़ाइनलाइज़ेशन के साथ, कॉलर के बोलना बंद करने के लगभग 180 मिलीसेकंड बाद Pulse अपना अंतिम ट्रांसक्रिप्ट तैयार कर देता है—यह कई प्रोडक्शन STT स्टैक में मिलने वाले एक से तीन सेकंड के साइलेंस-टाइमर के अंतराल जैसा नहीं है। एक लाइव कॉल में, यह बिल्कुल समय पर जवाब मिलने और ऐसा लगने वाले एजेंट के बीच का अंतर है जो बातचीत में पिछड़ रहा हो।
Speko केवल गति पर ही नहीं रुका। वे इस बात को लेकर स्पष्ट थे कि गति तभी मायने रखती है जब शब्द सही हों—और Pulse ने अंग्रेज़ी पर 5.1% WER बनाए रखा, जिसे उन्होंने स्थापित नामों के साथ प्रतिस्पर्धी श्रेणी में रखा, और वह भी ऐसी कीमत पर जिस पर बहस करना मुश्किल है।
उनका निष्कर्ष: Pulse अब Speko गेटवे में एक रूटेबल STT के रूप में लाइव है, और यह उन पहले मॉडलों में से एक है जिसकी सिफ़ारिश वे उन एजेंटों के निर्माताओं को करेंगे जहाँ रिस्पॉन्सिवनेस (त्वरित प्रतिक्रिया) ही मुख्य उत्पाद है।
राउंड दो: पाँच वास्तविक स्थितियों के ख़िलाफ़ परीक्षण जो वॉइस एजेंट वास्तव में सुनते हैं
चार दिन बाद, Speko और आगे बढ़ा—और यह वह राउंड है जो वास्तव में मायने रखता है, क्योंकि यह कोई अकेला रिव्यू नहीं है। यह छह स्ट्रीमिंग STT मॉडलों का आमने-सामने का मुक़ाबला है, जिन्हें एक ही गेटवे के ज़रिए उन स्थितियों में चलाया गया जो एक असली फ़ोन कॉल में सामने आती हैं: अलग-अलग लहजे (एक्सेंट) में बोलना, टेलीफ़ोन-बैंड ऑडियो, बैकग्राउंड का शोर, मेडिकल शब्दावली, और एक साथ बोली जाने वाली सहज बातचीत। न कि किसी शांत कमरे में ऑडियोबुक का ऑडियो।
उनकी पोस्ट "व्हॉट अ वॉइस एजेंट एक्चुअली हियर्स" से प्राप्त परिणाम:
मॉडल | 5 स्थितियों में औसत WER |
Smallest Pulse | 9.9% |
Qwen3-ASR | 9.9% |
ElevenLabs Scribe v2 | 12.9% |
Cartesia Ink-2 | 13.1% |
Deepgram Nova-3 | 13.5% |
Soniox stt-rt-v5 | 17.2% |
Pulse ने लीडरबोर्ड पर शीर्ष स्थान साझा किया, जिसमें Qwen3-ASR—जो कि एक बहुत बड़ा सामान्य-उद्देश्य वाला बहुभाषी मॉडल है—ने समान स्कोर के साथ इसकी बराबरी की। Speko ने खुद यह रेखांकित किया कि दोनों अग्रणी मॉडल "वे नहीं हैं जिनके लॉन्च पोस्ट सबसे ज़्यादा चर्चा में थे," और एक प्रतिस्पर्धी, जो खुद को #1 स्ट्रीमिंग WER मॉडल के रूप में प्रचारित करता है, चुनिंदा एक्सेंट सेट के बजाय वास्तविक प्रोडक्शन ऑडियो की जटिलताओं पर परखे जाने पर चौथे स्थान पर आ गया।
सबसे खास बात यह है कि Pulse कहाँ टिका रहा। Speko के विश्लेषण में पाया गया कि टेलीफ़ोनी और बैकग्राउंड का शोर आधुनिक स्ट्रीमिंग मॉडलों के लिए ज़्यादा समस्या पैदा नहीं करते—असली कठिनाई कंटेंट है। मेडिकल शब्दावली और स्वतःस्फूर्त, एक के ऊपर एक बोली जाने वाली बातचीत ऐसी जगहें हैं जहाँ मॉडल्स का अंतर साफ दिखता है, और सहज बातचीत पर हर मॉडल की एरर रेट लगभग दोगुनी हो जाती है। उस सबसे कठिन स्थिति में, Speko ने विशेष रूप से उल्लेख किया कि Pulse का कर्व इस क्षेत्र में सबसे स्थिर (फ्लैटेस्ट) था—अर्थात जब ऑडियो साफ-सुथरा नहीं रहा, तब भी इसके प्रदर्शन में सबसे कम गिरावट आई।
एक वास्तविक एजेंट बनाने वाले किसी भी व्यक्ति के लिए यह संख्या सबसे महत्वपूर्ण है: यह नहीं कि कोई मॉडल अपने सबसे अच्छे दिन कैसा प्रदर्शन करता है, बल्कि यह कि सामान्य परिस्थितियों में वह कितना कम लड़खड़ाता है।
यह वह रिव्यू क्यों है जो मायने रखता है
कोई भी अपना बेंचमार्क प्रकाशित कर सकता है। जो बात Speko के आंकड़ों को अपनाने योग्य बनाती है, वह है उनके पीछे की निष्पक्षता और गंभीरता—जिसमें वह हिस्सा भी शामिल है जिसे ज़्यादातर बेंचमार्क चुपचाप दबा देते। जब दो अन्य मॉडल शुरुआत में उनके सेटअप में सही काम नहीं कर रहे थे, तो Speko ने सिर्फ़ खराब आंकड़े प्रकाशित करके बात खत्म नहीं की। उन्होंने वापस जाकर प्रत्येक वेंडर के API को सीधे कॉल किया, पाया कि गड़बड़ी स्ट्रीमिंग फ़ाइनल्स को संभालने वाले उनके अपने गेटवे में थी, उसे ठीक किया, और संशोधित परिणाम फिर से प्रकाशित किए। यह उस तरह का आत्म-निरीक्षण है जो "#1 के लिए टाई" के दावे को वास्तव में सार्थक बनाता है।
Pulse ने वास्तविक प्रोडक्शन के शोर, असली लहज़ों, वास्तविक मेडिकल शब्दों और एक-दूसरे के ऊपर बोलने वाले असली लोगों के ख़िलाफ़ उस लीडरबोर्ड पर अपना स्थान बनाया है—और इसे उस टीम द्वारा आंका गया है जिसके पास वेंडर के दावों (हमारे दावों सहित) पर संदेह करने की हर वजह थी।
Pulse आज Speko गेटवे में लाइव है। यदि आप एक ऐसा वॉइस एजेंट बना रहे हैं जहाँ बातचीत के टर्न बदलने में होने वाली लेटेंसी का हर एक मिलीसेकंड वास्तविक कॉलर द्वारा महसूस किया जाता है, तो इसे आज़माने के लिए यह एक बेहतरीन जगह है—या सीधे हमसे smallest.ai पर बात करें।
अक्सर पूछे जाने वाले प्रश्न
अन्य STT मॉडलों की तुलना में पल्स (Pulse) कितना सटीक है?
पल्स कितना तेज़ है?
स्पेको (Speko) का एक स्वतंत्र बेंचमार्क किसी वेंडर के अपने खुद के आंकड़ों की तुलना में अधिक महत्वपूर्ण क्यों है?
पल्स (Pulse) वास्तविक वॉयस एजेंटों के लिए कैसे अनुकूल है?
