यह सुर्खियां हैं। अधिक दिलचस्प सवाल यह है कि यह परिणाम वास्तव में आपको क्या बताता है।

क्या सबसे तेज़ मॉडल ही सबसे अच्छा मॉडल भी होता है? स्पीच-टू-टेक्स्ट सिस्टम के लिए "तेज़" का वास्तव में क्या अर्थ है? क्या यह इस बात से तय होता है कि कोई API कितनी जल्दी ट्रांसक्रिप्ट लौटाता है, यह प्रति सेकंड कितने ऑडियो को प्रोसेस कर सकता है, या यह रीयल-टाइम बातचीत में कितना रिस्पॉन्सिव महसूस होता है? गति को सटीकता, विलंबता (लेटेंसी) और लागत के मुकाबले कैसे तौला जाना चाहिए? और क्यों कुछ मॉडल बैच ट्रांसक्रिप्शन में उत्कृष्ट प्रदर्शन करते हैं जबकि अन्य रीयल-टाइम वॉयस एजेंटों के लिए बेहतर अनुकूल होते हैं? वास्तविकता यह है कि स्पीच-टू-टेक्स्ट सिस्टम किसी एकल उद्देश्य के लिए अनुकूलित नहीं होते हैं।

जैसे-जैसे स्पीच AI का विस्तार केवल ट्रांसक्रिप्शन से आगे बढ़कर वॉयस एजेंटों, संपर्क केंद्रों, मीटिंग सहायकों और रीयल-टाइम अनुप्रयोगों में हुआ है, स्पीच मॉडलों का मूल्यांकन करना काफी अधिक सूक्ष्म और जटिल हो गया है। लाखों रिकॉर्ड किए गए कॉल को ट्रांसक्राइब करने वाली कंपनी को उन मेट्रिक्स की परवाह होती है जो वॉयस एजेंट बनाने वाली टीम के मेट्रिक्स से बिल्कुल अलग होते हैं।

इस गाइड में, हम स्पीच रिकग्निशन मूल्यांकन के प्रमुख आयामों - सटीकता और विलंबता से लेकर थ्रूपुट और मूल्य निर्धारण तक - को विस्तार से समझने के लिए आर्टिफिशियल एनालिसिस लीडरबोर्ड का एक केस स्टडी के रूप में उपयोग करेंगे, और यह समझाएंगे कि ये मेट्रिक्स वास्तव में आपको किसी मॉडल के वास्तविक-दुनिया के प्रदर्शन के बारे में क्या बताते हैं।

आर्टिफिशियल एनालिसिस स्पीच-टू-टेक्स्ट मॉडलों का मूल्यांकन कैसे करता है

बेंचमार्क डेटासेट को समझना

आर्टिफिशियल एनालिसिस तीन डेटासेट से लिए गए लगभग 8 घंटे के ऑडियो पर मॉडलों का मूल्यांकन करता है:

इस वेटेज का उपयोग बैच और स्ट्रीमिंग बेंचमार्क दोनों के लिए किया जाता है।

AA-AgentTalk (50%)

आर्टिफिशियल एनालिसिस का प्रोप्राइटरी डेटासेट वॉयस एजेंट उपयोग के मामलों से संबंधित भाषण पर केंद्रित है। यह डेटासेट वास्तविक संवादात्मक भाषण और आधुनिक वॉयस-AI इंटरैक्शन का प्रतिनिधित्व करता है।

VoxPopuli-Cleaned-AA (25%)

अंग्रेजी संसदीय कार्यवाही जिसमें विविध लहजे (एक्सेन्ट), बोलने की शैलियां और रिकॉर्डिंग स्थितियां शामिल हैं। यह किसी विशिष्ट क्षेत्र के लिए अनुकूलन के बजाय विभिन्न वक्ताओं के बीच मजबूती (रोबस्टनेस) का परीक्षण करता है।

Earnings22-Cleaned-AA (25%)

कॉरपोरेट अर्निंग्स कॉल जिनमें वित्तीय शब्दावलियां, कंपनियों के नाम, तकनीकी शब्दावली, कई लहजे और लंबे समय के भाषण शामिल हैं। यह डेटासेट विशेष रूप से उद्यम कार्यभारों (एंटरप्राइज वर्कलोड) के लिए मूल्यवान है।

भाग I: बैच लीडरबोर्ड को पढ़ना

बैच लीडरबोर्ड एक सीधे वर्कफ़्लो का मूल्यांकन करता है: एक ऑडियो फ़ाइल अपलोड की जाती है, पूरी रिकॉर्डिंग शुरू में ही उपलब्ध होती है, और मॉडल एक ट्रांसक्रिप्ट लौटाता है।

यह बेंचमार्क कॉल रिकॉर्डिंग, मीटिंग ट्रांसक्रिप्शन, पॉडकास्ट प्रोसेसिंग, वीडियो कैप्शनिंग, अनुपालन (कॉम्प्लायंस) और आर्काइवल वर्कलोड के लिए सबसे प्रासंगिक है।

चूंकि ट्रांसक्रिप्शन शुरू होने से पहले पूरा ऑडियो उपलब्ध होता है, इसलिए प्राथमिक ट्रेडऑफ़ सटीकता, थ्रूपुट, निरंतरता और लागत के बीच होता है।

AA-WER इंडेक्स

लीडरबोर्ड पर प्राथमिक सटीकता मीट्रिक आर्टिफिशियल एनालिसिस वर्ड एरर रेट इंडेक्स (AA-WER) है। वर्ड एरर रेट (WER) एक संदर्भ (रेफरेंस) ट्रांसक्रिप्ट के सापेक्ष गलत तरीके से ट्रांसक्राइब किए गए शब्दों के प्रतिशत को मापता है और इसकी गणना इस प्रकार की जाती है:

उदाहरण:

संदर्भ (Reference): Pulse ranked first in speed factor on artificial analysis

ट्रांसक्रिप्शन (Transcription): Pulse ranked best speed factor on the artificial analysis

त्रुटियां (Errors): प्रतिस्थापन (first → best), विलोपन (on), सम्मिलन (the)

WER = 3 ÷ 9 = 33

WER = 3 ÷ 9 = 33

WER = 3 ÷ 9 = 33

कम WER बेहतर माना जाता है।

मोटे तौर पर, WER एक साधारण प्रश्न का उत्तर देता है: मॉडल कितनी बार शब्दों को गलत समझता है?

चूंकि विभिन्न प्रणालियों में इसकी गणना और तुलना करना आसान है, इसलिए WER ट्रांसक्रिप्शन सटीकता के मूल्यांकन के लिए उद्योग-मानक मीट्रिक बन गया है।

हालाँकि, WER उपयोगिता का एक सटीक पैमाना नहीं है।

सभी त्रुटियां समान रूप से महत्वपूर्ण नहीं होती हैं। "Boston" को "Austin" के रूप में सुनना एक एकल प्रतिस्थापन (सब्स्टीट्यूशन) के रूप में गिना जाता है, लेकिन यह अनुरोध के अर्थ को पूरी तरह से बदल देता है। दूसरी ओर, "uh" जैसे पूरक शब्द (फिलर वर्ड) को छोड़ देने से समझने की प्रक्रिया प्रभावित हुए बिना भी WER बढ़ सकता है।

यही एक कारण है कि आर्टिफिशियल एनालिसिस केवल एक समग्र स्कोर पर भरोसा करने के बजाय व्यक्तिगत डेटासेट पर भी प्रदर्शन प्रकाशित करता है।

डेटासेट के अनुसार WER

जबकि AA-WER एक समग्र स्कोर प्रदान करता है, आर्टिफिशियल एनालिसिस प्रत्येक बेंचमार्क डेटासेट के लिए अलग से भी WER प्रदर्शित करता है।

यह विभाजन उन सवालों के जवाब देने में मदद करता है जो समग्र स्कोर नहीं दे सकते।

उदाहरण के लिए:

• क्या प्रदर्शन सभी डोमेन में सुसंगत है?

• क्या मॉडल को विशेष प्रकार के भाषणों में कठिनाई होती है?

• क्या समग्र सटीकता किसी एक असाधारण मजबूत डेटासेट द्वारा संचालित हो रही है?

डेटासेट-स्तर का मूल्यांकन डोमेन-विशिष्ट शक्तियों से सामान्य-प्रयोजन ट्रांसक्रिप्शन गुणवत्ता को अलग करने में मदद करता है। एक मॉडल जो सभी डेटासेट में लगातार अच्छा प्रदर्शन करता है, वह आम तौर पर उस मॉडल की तुलना में अधिक मजबूत होता है जो असमान प्रदर्शन के माध्यम से समान समग्र स्कोर प्राप्त करता है।

स्पीड फैक्टर (गति कारक)

यह वह मीट्रिक है जहां Pulse को प्रथम स्थान प्राप्त है। स्पीड फैक्टर थ्रूपुट को मापता है: एक मॉडल इसे प्रोसेस करने में लगने वाले समय के सापेक्ष कितने ऑडियो को ट्रांसक्राइब कर सकता है।

आर्टिफिशियल एनालिसिस स्पीड फैक्टर को इस प्रकार परिभाषित करता है:

उदाहरण के लिए:

• 1x = रीयल-टाइम ट्रांसक्रिप्शन

• 10x = प्रति सेकंड 10 सेकंड का ऑडियो प्रोसेस किया गया

• 100x = प्रति सेकंड 100 सेकंड का ऑडियो प्रोसेस किया गया

• 1000x = प्रति सेकंड 1000 सेकंड का ऑडियो प्रोसेस किया गया

एक मीट्रिक के रूप में स्पीड फैक्टर यह मापता है कि सिस्टम कितनी जल्दी बड़ी मात्रा में ऑडियो को प्रोसेस कर सकता है। स्पीड फैक्टर संवादात्मक रिस्पॉन्सिवनेस को नहीं मापता है। यह हमें यह नहीं बताता कि बोलने के बाद उपयोगकर्ता को कितनी जल्दी ट्रांसक्रिप्ट प्राप्त होती है।

स्पीड फैक्टर वेरिएंस (गति कारक भिन्नता)

औसत थ्रूपुट केवल कहानी का एक हिस्सा बताता है। दो प्रदाता नाटकीय रूप से भिन्न स्तर की निरंतरता का प्रदर्शन करते हुए भी समान स्पीड फैक्टर की रिपोर्ट कर सकते हैं।

स्पीड फैक्टर वेरिएंस यह मापता है कि बेंचमार्क रन के दौरान थ्रूपुट में कितना उतार-चढ़ाव होता है।

वैचारिक रूप से:

जहाँ:

SFᵢ एक बेंचमार्क रन का स्पीड फैक्टर है

μ माध्य (मीन) स्पीड फैक्टर है

कम होना बेहतर है।

यह मापता है कि प्रदर्शन कितना अनुमानित है। एक प्रदाता जो लगातार 500x थ्रूपुट प्रदान करता है, उसे संचालित करना उस प्रदाता की तुलना में आसान हो सकता है जो 100x और 1000x के बीच बदलता रहता है।

समय के साथ स्पीड फैक्टर

समय के साथ स्पीड फैक्टर चार्ट एक विस्तारित अवधि में बार-बार किए गए बेंचमार्क रन के थ्रूपुट को ट्रैक करता है। Speed Factor Over Time में दिखाए गए बिंदु 24 घंटे की अवधि के भीतर लिए गए चार यादृच्छिक (रैंडमाइज्ड) मापों के माध्यिका (मीडियन) हैं।

पिछले मेट्रिक्स के विपरीत, यह एक एकल स्कोर की गणना करने का प्रयास नहीं कर रहा है। इसके बजाय, यह परिचालन व्यवहार की कल्पना करता है। यह चार्ट प्रकट कर सकता है: बुनियादी ढांचे की अस्थिरता, क्षमता की अड़चनें, थ्रूपुट प्रतिगमन (रिग्रेशन), परिचालन निरंतरता।

एंटरप्राइज़ डिप्लॉयमेंट के लिए, दीर्घकालिक स्थिरता चरम बेंचमार्क प्रदर्शन जितनी ही महत्वपूर्ण हो सकती है। एक साथ मिलकर, ये मेट्रिक्स बैच ट्रांसक्रिप्शन प्रदर्शन की एक व्यापक तस्वीर प्रदान करते हैं।

AA-WER ट्रांसक्रिप्ट की गुणवत्ता को मापता है। डेटासेट-स्तरीय WER बताता है कि वह गुणवत्ता कहाँ से आती है। स्पीड फैक्टर थ्रूपुट को मापता है। वेरिएंस निरंतरता को मापता है। स्ट्रीमिंग लीडरबोर्ड पूरी तरह से एक अलग चुनौती का मूल्यांकन करता है: बातचीत जारी रहने के दौरान एक मॉडल भाषण को कितनी जल्दी और सटीक रूप से समझ सकता है।

भाग II: स्ट्रीमिंग लीडरबोर्ड को पढ़ना

यदि बैच लीडरबोर्ड यह मापता है कि कोई मॉडल पूरी हो चुकी रिकॉर्डिंग को कितनी कुशलता से ट्रांसक्राइब कर सकता है, तो स्ट्रीमिंग लीडरबोर्ड यह मापता है कि कोई मॉडल आते ही भाषण को कितनी प्रभावी ढंग से समझ और ट्रांसक्राइब कर सकता है।

रीयल-टाइम एप्लिकेशन ऑफ़लाइन ट्रांसक्रिप्शन की तुलना में अलग-अलग बाधाओं के तहत काम करते हैं। रिकॉर्ड किए गए कॉल को प्रोसेस करने वाली कंपनी विलंबता (लेटेंसी) के कुछ अतिरिक्त सेकंड सहन कर सकती है यदि सटीकता अधिक हो। एक वॉयस एजेंट ऐसा नहीं कर सकता। उपयोगकर्ता द्वारा वाक्य समाप्त करने और सिस्टम द्वारा प्रतिक्रिया देने के बीच का प्रत्येक अतिरिक्त मिलीसेकंड बातचीत की कथित रिस्पॉन्सिवनेस को प्रभावित करता है।

नतीजतन, स्ट्रीमिंग स्पीच-टू-टेक्स्ट सिस्टम को तीन प्रतिस्पर्धी उद्देश्यों को संतुलित करना चाहिए: सटीकता, प्रतिक्रियाशीलता और ट्रांसक्रिप्ट स्थिरता। आर्टिफिशियल एनालिसिस स्ट्रीमिंग बेंचमार्क को उन ट्रेडऑफ़ को मापने के लिए डिज़ाइन किया गया है।

स्ट्रीमिंग लीडरबोर्ड की परिभाषित विशेषताओं में से एक यह है कि सटीकता और विलंबता का मूल्यांकन एक साथ किया जाता है। एक अत्यधिक सटीक मॉडल जो ट्रांसक्रिप्ट को अंतिम रूप देने में कई सेकंड लेता है, वह बातचीत की स्थिति में सुस्त महसूस हो सकता है, जबकि कम-विलंबता वाला मॉडल जो उपयोगकर्ताओं को अक्सर गलत सुनता है, वह बिल्कुल भी उपयोगी नहीं हो सकता है। इसलिए लक्ष्य केवल सटीकता को अधिकतम करना या विलंबता को न्यूनतम करना नहीं है, बल्कि दोनों को एक साथ प्राप्त करना है।

स्ट्रीमिंग विलंबता (लेटेंसी) को कैसे मापा जाता है, इस पर एक नोट

स्ट्रीमिंग विलंबता मेट्रिक्स को देखने से पहले, यह समझना उपयोगी है कि टाइमर वास्तव में कहाँ से शुरू होता है।

आर्टिफिशियल एनालिसिस यह निर्धारित करने के लिए Silero VAD (वॉइस एक्टिविटी डिटेक्शन) के एक बाहरी इंस्टेंस का उपयोग करता है कि भाषण कब समाप्त होता है। स्ट्रीमिंग विलंबता को तब प्रत्येक प्रदाता के आंतरिक समापन तर्क (एंडपॉइंटिंग लॉजिक) के बजाय उस सामान्य समापन बिंदु के सापेक्ष मापा जाता है।

यह एक महत्वपूर्ण पद्धतिगत विकल्प है। भाषण के अंत का पता लगाना अपने आप में एक समझौता है: अधिक समय तक प्रतीक्षा करने से स्थिरता में सुधार हो सकता है और रुकावटें कम हो सकती हैं, जबकि जल्दी प्रतिक्रिया देने से कथित रिस्पॉन्सिवनेस में सुधार हो सकता है। चूंकि प्रदाता इसे अलग-अलग तरीके से लागू करते हैं, इसलिए प्रदाता-परिभाषित समापन बिंदुओं का उपयोग करके विलंबता की तुलना करना एक निष्पक्ष तुलना नहीं होगी।

अंतिम ट्रांसक्रिप्ट तक का समय (Time to Final Transcript)

यह लीडरबोर्ड फ़ाइनलाइज़ेशन विलंबता को अलग करता है।

कम होना बेहतर है।

यह मीट्रिक विशेष रूप से इनके लिए महत्वपूर्ण है: वॉयस एजेंट, इंटरैक्टिव सहायक, ग्राहक सहायता प्रणाली, रीयल-टाइम संवादात्मक इंटरफेस। एक बार ट्रांसक्रिप्ट फाइनल हो जाने के बाद, डाउनस्ट्रीम सिस्टम विश्वास के साथ कार्य कर सकते हैं। फ़ाइनलाइज़ेशन विलंबता को कम करने से संवादात्मक बारी-बारी से बोलने में सुधार होता है और उपयोगकर्ता के भाषण और सिस्टम की प्रतिक्रिया के बीच की देरी कम होती है।

यह मीट्रिक इस बात का उत्तर देती है कि सिस्टम कितनी जल्दी आश्वस्त हो सकता है कि क्या कहा गया था।

भाषण समाप्त होने के बाद पहली आंशिक ट्रांसक्रिप्ट का समय

यह लीडरबोर्ड रिस्पॉन्सिवनेस को अलग करता है।

कम होना बेहतर है।

यह मीट्रिक अक्सर फ़ाइनलाइज़ेशन विलंबता की तुलना में कथित गति के साथ अधिक मजबूती से संबंधित होती है। मनुष्य प्रणालियों को इस बात से आंकते हैं कि वे पहली बार कब प्रतिक्रिया देते हैं, न कि इस बात से कि प्रसंस्करण कब पूरी तरह से समाप्त होता है।

एक वॉयस एजेंट को सुनते हुए विचार करें:

"Book me a flight to Boston tomorrow."

यदि पहली आंशिक ट्रांसक्रिप्ट अनुमान लगाती है:

"Book me a flight to Austin tomorrow."
तो ट्रांसक्रिप्ट स्थिर होने से पहले एजेंट गलत गंतव्य के बारे में सोचना शुरू कर सकता है।

संवादात्मक AI के लिए, यह अक्सर पहला मीट्रिक होता है जिसे इंजीनियर अनुकूलित करते हैं क्योंकि यह सीधे प्रभावित करता है कि सिस्टम उपयोगकर्ताओं के प्रति कितना प्रतिक्रियाशील महसूस करता है। यह मीट्रिक उत्तर देती है कि सिस्टम कितनी जल्दी प्रतिक्रिया देना शुरू करता है।

WER स्ट्रीमिंग इंडेक्स बनाम अंतिम ट्रांसक्रिप्ट का समय

यह चार्ट दर्शाता है: AA-WER Streaming Index और Time to Final Transcription

आदर्श स्थिति चार्ट का निचला-बायां कोना है।

मूल बिंदु (ऑरिजिन) के करीब के मॉडल प्राप्त करते हैं:

• कम ट्रांसक्रिप्शन त्रुटि दर

• तेज़ ट्रांसक्रिप्ट फ़ाइनलाइज़ेशन

चार्ट पर ऊपर स्थित मॉडल अधिक ट्रांसक्रिप्शन गलतियाँ करते हैं। दाईं ओर के मॉडल अंतिम ट्रांसक्रिप्ट तैयार करने में अधिक समय लेते हैं।

इसलिए यह चार्ट सटीकता और प्रतिक्रियाशीलता के बीच ट्रेडऑफ़ का मूल्यांकन करने का एक त्वरित तरीका प्रदान करता है। एक मॉडल अत्यधिक सटीक हो सकता है लेकिन ट्रांसक्रिप्ट को अंतिम रूप देने में धीमा हो सकता है, जबकि दूसरा तेज़ हो सकता है लेकिन सटीकता से समझौता कर सकता है। सबसे मजबूत प्रणालियां दोनों आयामों में एक साथ सुधार करती हैं और मूल बिंदु के करीब पहुंचती हैं।

WER स्ट्रीमिंग इंडेक्स (पहली आंशिक) बनाम भाषण समाप्त होने के बाद पहली आंशिक ट्रांसक्रिप्ट का समय

यह चार्ट दर्शाता है:
AA-WER Streaming Index (First Partial) — भाषण की पहचानी गई समाप्ति के बाद पहली आंशिक ट्रांसक्रिप्ट में गलत तरीके से ट्रांसक्राइब किए गए शब्दों का प्रतिशत

Time to First Partial Transcription After Speech End — भाषण की पहचानी गई समाप्ति और प्रदाता द्वारा लौटाए गए पहले ट्रांसक्रिप्ट-युक्त इवेंट के बीच सेकंड की संख्या

पिछले चार्ट की तरह, आदर्श स्थिति निचला-बायां कोना है।

यह चार्ट वॉयस एजेंटों के लिए विशेष रूप से प्रासंगिक है क्योंकि कई प्रणालियां अंतिम ट्रांसक्रिप्ट उपलब्ध होने से पहले ही डाउनस्ट्रीम प्रसंस्करण शुरू कर देती हैं। आशय वर्गीकरण (इन्टेंट क्लासिफिकेशन), पुनर्प्राप्ति (रिट्रीवल), टूल चयन और प्रतिक्रिया योजना अक्सर पहली आंशिक ट्रांसक्रिप्ट से शुरू हो सकती है।

नतीजतन, यह विज़ुअलाइज़ेशन एक महत्वपूर्ण वास्तविक दुनिया के ट्रेडऑफ़ को कैप्चर करता है: न केवल यह कि एक मॉडल कितनी जल्दी प्रतिक्रिया देता है, बल्कि यह भी कि वह पहली प्रतिक्रिया कितनी उपयोगी है। सबसे प्रभावी स्ट्रीमिंग प्रणालियाँ वे हैं जो न्यूनतम देरी के साथ एक सटीक आंशिक ट्रांसक्रिप्ट प्रदान कर सकती हैं, जिससे वे चार्ट के मूल बिंदु के करीब आ जाती हैं।

सब कुछ एक साथ लाना

बैच और स्ट्रीमिंग लीडरबोर्ड मौलिक रूप से अलग-अलग सवालों के जवाब देते हैं।

बैच लीडरबोर्ड इस पर ध्यान केंद्रित करता है:

• सटीकता

• थ्रूपुट

• निरंतरता

स्ट्रीमिंग लीडरबोर्ड इस पर ध्यान केंद्रित करता:

• सटीकता

• प्रतिक्रियाशीलता

• ट्रांसक्रिप्ट स्थिरता

कोई भी लीडरबोर्ड एक एकल "सर्वश्रेष्ठ" स्पीच-टू-टेक्स्ट मॉडल का निर्माण नहीं करता है। इसके बजाय, वे प्रत्येक प्रणाली द्वारा किए जाने वाले ट्रेडऑफ़ को प्रकट करते हैं।

लाखों रिकॉर्ड किए गए कॉल को ट्रांसक्राइब करने वाली कंपनी AA-WER, स्पीड फैक्टर और लागत दक्षता को प्राथमिकता दे सकती है।

रीयल-टाइम वॉयस एजेंट बनाने वाली टीम पहली आंशिक ट्रांसक्रिप्ट के समय, अंतिम ट्रांसक्रिप्ट के समय और स्ट्रीमिंग सटीकता को प्राथमिकता दे सकती है।
बेंचमार्क का मूल्य यह नहीं है कि वे आपको बताते हैं कि कौन जीता। यह है कि वे ट्रेडऑफ़ को दृश्यमान बनाते हैं। सटीकता, थ्रूपुट, विलंबता, स्थिरता और लागत प्रदर्शन के सभी आयाम हैं, और विभिन्न अनुप्रयोग उन्हें अलग तरह से प्राथमिकता देते हैं। लीडरबोर्ड की स्थिति एक परिणाम है। इसके पीछे के मेट्रिक्स को समझना ही आपको एक सूचित इंजीनियरिंग निर्णय लेने की अनुमति देता है।