हमने कंप्यूटरों को पढ़ना सिखाने में दशकों बिताए हैं। उन्हें सुनना सिखाने में काफी अधिक समय लगा और यदि आपका उच्चारण सही नहीं है, या आप किसी शोर-शराबे वाले कमरे में काम करते हैं, तो ईमानदारी से जवाब यह है कि, हम अभी तक ऐसा करने में कामयाब नहीं हुए हैं। एआई स्पीच रिकग्निशन (AI speech recognition) पिछले दशक की सबसे प्रभावशाली तकनीकों में से एक है और इसका अनुभव सबसे अधिक असंगत रहा है।

आपकी आवाज़ क्या कहती है और मशीन क्या सुनती है, इसके बीच का अंतर ही इस लेख का विषय है। इसलिए नहीं कि यह तकनीक प्रभावशाली नहीं है - यह वास्तव में प्रभावशाली है - बल्कि इसलिए कि जिन परिस्थितियों में यह प्रभावित करती है वे विपणन (मार्केटिंग) के दावों की तुलना में कहीं अधिक सीमित हैं। पृष्ठभूमि का शोर (बैकग्राउंड नॉइज़), क्षेत्रीय उच्चारण, तकनीकी शब्दावली, वाक्य के बीच में कई भाषाओं का बदलना, ये सभी तब तक मुख्य सटीकता के आंकड़ों को कम करते रहते हैं जब तक कि जो बचता है वह किए गए वादे के करीब भी नहीं होता।

ऐसा क्यों होता है और इसके बारे में इंजीनियर क्या कर रहे हैं, यह समझना सार्थक है। विशेष रूप से अब, जब स्वास्थ्य सेवा, ऑटोमोटिव, ग्राहक सेवा और औद्योगिक सुरक्षा में वॉयस कमांड नवीनता से हटकर बुनियादी ढांचे का हिस्सा बनते जा रहे हैं। जब ये प्रणालियां विफल होती हैं, तो वे चुपचाप विफल नहीं होतीं।

मशीन सुनना कैसे सीखती है

इससे पहले कि हम यह समझें कि ऑटोमैटिक स्पीच रिकग्निशन क्यों विफल होता है, यह समझना मददगार होगा कि यह वास्तव में क्या करता है क्योंकि यह अधिकांश लोगों की कल्पना से कहीं अधिक अजीब और प्रभावशाली है।

यह प्रक्रिया सरल अर्थों में अनुवाद नहीं है। यह एक उच्च-आवृत्ति (हाई-फ्रीक्वेंसी) व्याख्या की समस्या के अधिक करीब है। एक कच्चा (रॉ) ऑडियो सिग्नल एक एनालॉग ध्वनि तरंग के रूप में आता है। सिस्टम इसे डिजिटल रूप से सैंपल करता है, फिर इसे छोटे विंडोज़ में विभाजित करता है और प्रत्येक विंडो को एक विज़ुअल प्रतिनिधित्व में बदल देता है जिसे लॉग-मेल स्पेक्ट्रोग्राम (log-Mel spectrogram) कहा जाता है। यह स्पेक्ट्रोग्राम समय के साथ आवृत्तियों की तीव्रता का मानचित्रण करता है, जो मानव के आंतरिक कान द्वारा ध्वनि को संसाधित करने के तरीके की नकल करता है। मशीन आपके शब्दों को नहीं सुन रही है। यह आपकी आवाज़ की तस्वीरों को देख रही है।

जैसे आधुनिक आर्किटेक्चर में Smallest.ai का Pulse STT, सिस्टम शब्दों के आकार लेने से पहले पैटर्न - व्यंजन, स्वर, उनके बीच की सीमाओं के लिए इन चित्रों को स्कैन करता है।

इसके बाद जो आता है वह वह हिस्सा है जिसने सब कुछ बदल दिया।

एन्कोडर-डिकोडर ट्रांसफार्मर

एक आधुनिक एएसपी (ASR) प्रणाली का दिल एक एन्कोडर-डिकोडर ट्रांसफार्मर है, और इसे समझने से इन प्रणालियों की शक्ति और नाजुकता दोनों का पता चलता है।

एन्कोडर ऑडियो सुविधाओं के अनुक्रम को लेता है और उन्हें एक संदर्भ वेक्टर (context vector) में बदल देता है, जो संपूर्ण ऑडियो विंडो का एक समृद्ध गणितीय खाका है। यहाँ महत्वपूर्ण तंत्र सेल्फ-अटेंशन (self-attention) है, जो मॉडल को शब्द-दर-शब्द प्रक्रिया करने के बजाय पूरे 30-सेकंड की ऑडियो विंडो को एक साथ देखने की अनुमति देता है। यह वैश्विक दृष्टिकोण मायने रखता है, यदि कोई वक्ता वाक्य की शुरुआत में "बैंक" कहता है, तो मॉडल वाक्य के अंत के संदर्भ का उपयोग करके यह निर्धारित करता है कि संदर्भ वित्तीय है या भौगोलिक।

इसके बाद डिकोडर आगे बढ़ते हुए ऑडियो खाके के विशिष्ट हिस्सों को संदर्भित करने के लिए क्रॉस-अटेंशन (cross-attention) का उपयोग करते हुए एक समय में एक टोकन ट्रांसक्रिप्ट लिखता है। प्रत्येक अनुमानित शब्द मूल ध्वनि में एक सटीक क्षण से मेल खाता है।

जिस चीज़ ने इस आर्किटेक्चर को एक बड़ा बदलाव बना दिया, वह थी इसकी जगह लेने वाली तकनीक। पहले की प्रणालियों को अलग-अलग अकौस्टिक मॉडलिंग (acoustic modeling), लेक्सिकॉन (lexicon), और लैंग्वेज मॉडलिंग (language modeling) घटकों की आवश्यकता होती थी - प्रत्येक को स्वतंत्र रूप से प्रशिक्षित और बनाए रखा जाता था, जिससे अपनी स्वयं की विफलता के तरीके उत्पन्न होते थे। एन्कोडर-डिकोडर दृष्टिकोण इस सब को एक एकल एंड-टू-एंड सिस्टम में समाहित कर देता है, जिससे विकास की जटिलता कम हो जाती है और अच्छी तरह से प्रतिनिधित्व किए गए भाषण पर प्रदर्शन में नाटकीय रूप से सुधार होता है। इसका नुकसान यह है कि विफलताएं भी अधिक समग्र होती हैं - जब मॉडल को नहीं पता होता है कि किसी चीज़ को कैसे संभालना है, तो कोई बैकअप विकल्प नहीं होता है।

उच्चारण की समस्या एक डेटा की समस्या है

यहाँ स्पीच-टू-टेक्स्ट सटीकता के आंकड़ों के बारे में असहज करने वाला सच है, उन्हें लगभग हमेशा उस ऑडियो पर मापा जाता है जो प्रशिक्षण डेटा (ट्रेनिंग डेटा) की तरह लगता है।

उच्चारण और बोलियाँ मामूली शैलीगत विविधताएँ नहीं हैं। वे ध्वन्यात्मकता (फोनेटिक्स), स्वर-शैली, लय और समय में जटिल बदलाव हैं। पश्चिम अफ्रीका का एक वक्ता एपलाचिया के एक वक्ता की तुलना में मौलिक रूप से अलग स्वर लंबाई का उपयोग कर सकता है, भले ही वे एक ही भाषा में समान शब्द कह रहे हों। मॉडल का काम, जिसे शोधकर्ता फोनेटिक फ़ज़ी मैचिंग (phonetic fuzzy matching) कहते हैं, यह पहचानना है कि क्षेत्रीय अंतर के बावजूद "savins" और "savings" संभवतः एक ही शब्द हैं। जब मॉडलों को पर्याप्त विविधता पर प्रशिक्षित नहीं किया जाता है, तो वे इस सहनशीलता को विकसित नहीं कर पाते हैं।

आंकड़े स्पष्ट रूप से कहानी बयां करते हैं। एक अच्छी तरह से संसाधनयुक्त अंग्रेजी मॉडल आदर्श परिस्थितियों में 3-5% की वर्ड एरर रेट (WER) प्राप्त कर सकता है। उसी मॉडल को गैर-मानक उच्चारण के साथ वास्तविक दुनिया के वातावरण में रखें, और WER 25% से ऊपर जा सकता है। हिंदी या मिज़ो जैसी कम संसाधन वाली भाषाओं के लिए, वास्तविक दुनिया में त्रुटि दर 30-50% होना असामान्य नहीं है।

आधुनिक न्यूरल नेटवर्क इसकी ध्वन्यात्मक सहनशीलता को बढ़ाने के लिए समय के साथ सिस्टम में अधिक विविध भाषण डेटा डालकर, निरंतर सीखने के माध्यम से इस अंतर को पाटने का प्रयास करते हैं। डीप न्यूरल नेटवर्क्स (DNNs) पिच और टोन में सूक्ष्म विविधताओं के लिए ऑडियो संकेतों का विश्लेषण करते हैं, जिससे वे क्षेत्रीय विविधताओं में सामान्यीकरण करना सीखते हैं। चुनौती यह है कि इसके लिए डेटा की आवश्यकता होती है, और विविध, लेबल वाले भाषण डेटा को एकत्र करना महंगा और धीमा है। इन प्रणालियों द्वारा जिन समुदायों को सबसे कम सेवाएँ मिलती हैं, वे आम तौर पर प्रशिक्षण डेटासेट में सबसे कम प्रतिनिधित्व वाले समुदाय होते हैं। यह एक स्वतः मजबूत होने वाला अंतर है।

कोड-स्विचिंग और बहुभाषी समस्या

बहुभाषी पहचान (multilingual recognition) के वातावरण में उच्चारण की समस्या काफी बढ़ जाती है। कोड-स्विचिंग, जहाँ एक वक्ता एक ही वाक्य में भाषाओं के बीच स्विच करता है, जैसा कि सैकड़ों मिलियन लोग हर दिन स्वाभाविक रूप से करते हैं, अधिकांश पारंपरिक ASR पाइपलाइनों को पूरी तरह से बाधित कर देता है। मॉडल एक समय में एक भाषा की अपेक्षा करता है; उसे बिना किसी पूर्व चेतावनी के मिश्रित रूप से दो भाषाएँ मिल जाती हैं।

जैसे आधुनिक प्रणालियां Smallest.ai का Pulse STT स्वतः भाषा पहचान और अनुकूली मॉडलिंग के माध्यम से इसका समाधान करता है, जिससे साक्ष्य एकत्र होने पर बीच में ही भाषाई संदर्भों को स्विच किया जा सके। अधिक उन्नत मोर्चा ज़ीरो-शॉट परफॉरमेंस (zero-shot performance) है, एक ऐसा मॉडल जो उस भाषा को पहचान या अनुवाद कर सकता है जिस पर उसे कभी भी स्पष्ट रूप से प्रशिक्षित नहीं किया गया है।

यह उन मूलभूत ध्वनिक गुणों के भाषा-अज्ञेयवादी (language-agnostic) भाषण अभ्यावेदन को सीखकर प्राप्त किया जाता है जिन्हें सभी मानव भाषण भाषा की परवाह किए बिना साझा करते हैं। इन गुणों को एक साझा अव्यक्त स्थान (latent space) पर मैप करके, एक मॉडल न्यूनतम लेबल वाले डेटा के साथ नई भाषाओं के लिए समर्थन बढ़ा सकता है। लार्ज लैंग्वेज मॉडल्स (LLMs) तेजी से इस ध्वनिक आउटपुट के लिए रीजनिंग इंजन के रूप में कार्य कर रहे हैं, उन अंतरालों को पाटने के लिए संदर्भजन्य समझ लागू कर रहे हैं जहाँ ध्वन्यात्मक प्रशिक्षण विरल है।

व्यावहारिक रूप में यह कैसा दिखता है: बहुभाषी अनुवादक

Smallest.ai का Multilingual Translator इन सिद्धांतों का एक व्यावहारिक प्रदर्शन है। यह सिस्टम कई भाषाओं में रीयल-टाइम अनुवाद और वॉयस आउटपुट प्रदान करता है, जो कम कनेक्टिविटी वाले वातावरण में शिक्षकों और यात्रियों के लिए एक सार्थक विशेषता है।

यह एक उपयोगी केस स्टडी है क्योंकि यह इंजीनियरिंग के समझौतों को प्रत्यक्ष रूप से दिखाता है। कई भाषाओं का समर्थन करना केवल अधिक प्रशिक्षण डेटा जोड़ने का मामला नहीं है; इसके लिए आर्किटेक्चरल निर्णयों की आवश्यकता होती है कि मॉडल भाषा का प्रतिनिधित्व कैसे करता है, यह अनिश्चितता को कैसे संभालता है, और जब सिस्टम को निकट वास्तविक समय में पहचानना, ट्रांसक्राइब करना और अनुवाद करना हो तो लेटेंसी को कैसे प्रबंधित किया जाता है। प्राइवेसी को इनफेरेंस स्थानीय रखकर संभाला जाता है, कोई भी ऑडियो डिवाइस से बाहर नहीं जाता है।

बैकग्राउंड नॉइज़ कोई विशेष मामला नहीं है। यह डिफ़ॉल्ट है।

यदि उच्चारण की समस्या विविधता के बारे में है, तो शोर की समस्या हस्तक्षेप (इंटरफेरेंस) के बारे में है। और वास्तविक दुनिया के ऑडियो में हस्तक्षेप अपवाद नहीं है, बल्कि यह सामान्य स्थिति है।

ट्रैफ़िक, मशीनरी, एचवीएसी सिस्टम, ओवरलैपिंग स्पीकर, पास के कमरों से आने वाला संगीत, ये ध्वनियाँ लगभग हर उस ऑडियो वातावरण को दूषित करती हैं जहाँ आवाज़-सक्रिय (वॉयस-एक्टिवेटेड) सिस्टम वास्तव में तैनात किए जाते हैं। शोर उन ध्वनिक संकेतों में हस्तक्षेप करके स्पीच-टू-टेक्स्ट को बाधित करता है जिन पर एक मॉडल निर्भर करता है - फॉर्मेंट्स, पिच कंटूर, और शब्द सीमाओं का संकेत देने वाले सूक्ष्म विराम। 10 dB से नीचे के सिग्नल-टू-नॉइज़ रेशियो (SNR) पर, अधिकांश पारंपरिक रूप से प्रशिक्षित मॉडल बुरी तरह विफल होने लगते हैं।

स्वाभाविक सोच यह होती है कि ट्रांसक्राइब करने से पहले ऑडियो को साफ़ किया जाए। स्पेक्ट्रल सबट्रैक्शन, वीनर फ़िल्टरिंग, नॉइज़ गेट्स, प्रीप्रोसेसिंग अनुसंधान के दशक। समस्या वह है जिसे इंजीनियरों ने नॉइज़ रिडक्शन पैराडॉक्स (शोर कम करने का विरोधाभास) कहना शुरू कर दिया है - जहाँ बैकग्राउंड की भिनभिनाहट को हटाने के लिए डिज़ाइन किया गया प्रत्येक फ़िल्टर उस सूक्ष्म भाषण हार्मोनिक्स को भी मिटाने का जोखिम उठाता है जिसकी पहचानकर्ता को एक शब्द की पहचान करने के लिए आवश्यकता होती है। स्पेक्ट्रल सबट्रैक्शन SNR को 8 dB तक सुधार सकता है और इसके द्वारा उत्पन्न विकृति के कारण साथ ही साथ WER को 15% तक बढ़ा सकता है। आप एक समस्या का समाधान करते हैं और दूसरी समस्या खड़ी कर देते हैं।

वर्तमान सर्वोत्तम अभ्यास अब नॉइज़-ट्रेंड मॉडल्स (noise-trained models) की ओर स्थानांतरित हो गया है - ऐसे सिस्टम जो साफ रिकॉर्डिंग के बजाय जानबूझकर अशांत ध्वनिक स्थितियों वाले डेटासेट पर प्रशिक्षित होते हैं। ऑडियो को अधिक सुलभ बनाने के लिए प्रीप्रोसेस करने के बजाय, मॉडल उन स्थिर ध्वनिक विशेषताओं को खोजना सीखता है जो भारी शोर में भी बनी रहती हैं। आर्किटेक्चर शोर सहनशीलता को बाद में जोड़ने के बजाय खुद से सीखता है।

वॉयस एक्टिविटी डिटेक्शन (VAD) यहाँ एक महत्वपूर्ण सहायक भूमिका निभाता है - यह पहचानना कि ऑडियो के किन हिस्सों में भाषण है और किनमें नहीं, जिससे ट्रांसक्रिप्शन मॉडल पर कम्प्यूटेशनल लोड कम हो जाता है। लेकिन VAD अपनी स्वयं की विफलता का तरीका पेश करता है: यदि फ़्रेम विंडो बहुत छोटी है, तो एक कम-ऊर्जा वाले व्यंजन को गलती से मौन के रूप में वर्गीकृत किया जा सकता है, जिससे अंतिम ट्रांसक्रिप्ट में विलोपन त्रुटि (deletion error) उत्पन्न हो सकती है जो एक साधारण गलत सुनने जैसी दिखती है लेकिन इसकी उत्पत्ति प्रीप्रोसेसिंग में होती है।

वास्तविक परिनियोजन (डिप्लॉयमेंट) से प्राप्त क्षेत्र तालिकाएँ रेखांकित करती हैं कि दांव कितने ऊंचे हैं:

लेटेंसी की समस्या जिसके बारे में कोई पर्याप्त बात नहीं करता

सटीकता वह मीट्रिक है जिसे लोग उद्धृत करते हैं। लेटेंसी वह मीट्रिक है जो यह निर्धारित करती है कि कोई उस उत्पाद का उपयोग करता है या नहीं।

एक बातचीत तभी स्वाभाविक लगती है जब प्रतिक्रिया समय 300ms से कम रहे। वॉयस एजेंट बनाने वाले डेवलपर के लिए, पाइपलाइन ऑडियो कैप्चर करने, उसे ट्रांसक्राइब करने, उसे एक NLU लेयर पर भेजने, उसे LLM के माध्यम से चलाने, प्रतिक्रिया उत्पन्न करने, भाषण संश्लेषित करने, और ऑडियो वापस स्ट्रीम करने की होती है। हर कदम में समय लगता है। संचयी बजट बहुत कठिन होता है।

आधुनिक प्रणालियाँ टाइम टू फर्स्ट ट्रांसक्रिप्ट (TTFT) को प्राथमिकता देती हैं - वक्ता के रुकने और पहले शब्दों के टेक्स्ट के रूप में दिखाई देने के बीच का विलंब। Pulse STT 64ms का TTFT प्राप्त करता है, जो वक्ता के बोलते रहने के दौरान ही आंशिक ट्रांसक्रिप्ट लौटाकर वास्तविक समय की बातचीत का एक अवधारणात्मक भ्रम पैदा करता है। ये आंशिक ट्रांसक्रिप्ट तब तक लगातार अपडेट होते रहते हैं जब तक कि मॉडल एक स्वाभाविक विराम पर अंतिम ट्रांसक्रिप्ट के लिए प्रतिबद्ध नहीं हो जाता, इस प्रक्रिया को एंडपॉइंटिंग (endpointing) कहा जाता है।

वेबसॉकेट्स के माध्यम से स्ट्रीमिंग

वह आर्किटेक्चरल तंत्र जो कम लेटेंसी वाले वास्तविक समय के ट्रांसक्रिप्शन को संभव बनाता है, वह है वेबसॉकेट (WebSocket) कनेक्शन। REST APIs के विपरीत - जिनमें प्रत्येक ऑडियो पैकेट के लिए एक नए हैंडशेक की आवश्यकता होती है - वेबसॉकेट्स क्लाइंट और सर्वर के बीच एक निरंतर, द्वि-दिशात्मक लिंक बनाए रखते हैं। सर्वर पूर्ण ऑडियो के आने की प्रतीक्षा करने के बजाय ट्रांसक्रिप्ट के अंश संसाधित होते ही वापस भेज देता है।

एक विशिष्ट स्ट्रीमिंग आर्किटेक्चर इस तरह से कार्य करता है - एक प्रमाणित WSS कनेक्शन स्थापित करें, एक निरंतर 1:1 रीयल-टाइम दर पर 40ms ऑडियो पैकेट (8kHz सैंपलिंग पर लगभग 640 बाइट्स) स्ट्रीम करें, फिर आंशिक परिणाम, अंतिम परिणाम और शब्द-स्तरीय टाइमस्टैम्प वाले JSON ऑब्जेक्ट्स की एक स्ट्रीम प्राप्त करें। क्लाइंट को केवल अंतिम उत्तर ही नहीं, बल्कि मॉडल क्या सोच रहा है, इसका एक लाइव दृश्य मिलता है। तकनीकी गहराई के लिए realtime audio transcription गाइड देखें।

ट्रांसक्रिप्शन से परे: स्पीच इंटेलिजेंस का वास्तव में क्या अर्थ है

ट्रांसक्रिप्शन शुरुआती बिंदु है, मंजिल नहीं। अधिक दिलचस्प प्रश्न यह है कि आप भाषण से क्या अनुमान लगा सकते हैं जो टेक्स्ट में रूपांतरण के बाद शेष नहीं बचता।

स्पीकर डायराइजेशन (Speaker diarization): "किसने कब बोला?" का उत्तर देना सबसे व्यावहारिक रूप से मूल्यवान क्षमताओं में से एक है। यह एक अनुपरीक्षित क्लस्टरिंग (unsupervised clustering) समस्या है, सिस्टम ऑडियो को विभाजित करता है, प्रत्येक खंड को वक्ता की अनूठी मुखर विशेषताओं के एक उच्च-आयामी संख्यात्मक एम्बेडिंग में परिवर्तित करता है, अनुमान लगाता है कि कितने अलग-अलग वक्ता उपस्थित हैं, और फिर लेबल (स्पीकर 1, स्पीकर 2, आदि) असाइन करता है। आउटपुट एक कच्चे ट्रांसक्रिप्ट को एक संरचित बातचीत में बदल देता है।

शब्द-स्तरीय विश्वास स्कोर (Word-level confidence scores): ट्रांसक्रिप्ट में प्रत्येक शब्द एक संभाव्यता स्कोर वहन करता है - आमतौर पर 0.0 से 1.0 - जो यह दर्शाता है कि मॉडल उस भविष्यवाणी के बारे में कितना निश्चित है। 0.95 का स्कोर विश्वसनीय है; 0.60 एक चेतावनी है। विश्वास की एक सीमा निर्धारित करके, एक एप्लिकेशन स्वचालित रूप से अनिश्चित शब्दों को मानव समीक्षा के लिए भेज सकता है, उपयोगकर्ता से स्पष्टीकरण मांग सकता है, या केवल अनिश्चितता मार्करों के साथ आउटपुट को एनोटेट कर सकता है। स्वास्थ्य सेवा या कानूनी संदर्भों में, जहाँ एक भी गलत सुने गए शब्द के वास्तविक परिणाम होते हैं, यह मेटाडेटा वैकल्पिक नहीं है।

अधिक उन्नत अनिश्चितता अनुमान एन्ट्रापी-आधारित उपायों का उपयोग करता है जो अकेले कच्चे संभाव्यता स्कोर की तुलना में शुद्धता के अधिक कैलिब्रेटेड अनुमान प्रदान करते हैं।

क्या होता है जब आप इन प्रणालियों को एक साथ जोड़ते हैं

ASR अनुसंधान में अधिक खुलासा करने वाले प्रयोगों में से एक बेंचमार्क नहीं है, बल्कि यह विफलता का एक तरीका है। Smallest.ai का Voice Chinese Whispers यह प्रदर्शित करता है कि क्या होता है जब आप बार-बार लूप में ट्रांसक्रिप्शन, अनुवाद और भाषण संश्लेषण को जोड़ते हैं।

एक बार में, एक गलत सुना गया शब्द अर्थ को थोड़ा बदल देता है। पांचवें दोहराव तक, सिस्टम ऐसे वाक्यांश तैयार कर रहा होता है जिनका मूल कथन से कोई संबंध नहीं होता है। मॉडल ने क्लासिक LLM अर्थ में मतिभ्रम (hallucination) नहीं किया है; यह ईमानदारी से पिछले चरण के खराब आउटपुट का अनुसरण कर रहा है। प्रत्येक चरण में थोड़ी मात्रा में ध्वनिक बहाव (acoustic drift) या संदर्भगत बहाव (contextual drift) आता है, और त्रुटियां ज्यामितीय रूप से बढ़ती जाती हैं।

यह एक उपयोगी प्रदर्शन है क्योंकि यह उस चीज़ को दृश्यमान बनाता है जिसे प्रोडक्शन सिस्टम में देखना आसान नहीं होता; एएसआर (ASR) मॉडल का आउटपुट एक स्थिर आधार नहीं है। यह एक संभाव्य अनुमान है, और डाउनस्ट्रीम सिस्टम जो इसे परम सत्य मानते हैं, वे इसकी त्रुटियों को विरासत में लेंगे और उन्हें बढ़ाएंगे। ट्रांसक्रिप्ट स्थिरता - यह सुनिश्चित करना कि एक बार जब कोई शब्द लिख दिया जाए तो वह स्थिर रहे, और विश्वास स्कोर अनिश्चितता को सटीक रूप से प्रतिबिंबित करे - एक इंजीनियरिंग अनुशासन है, कोई दी गई परिस्थिति नहीं।

ट्रांसक्रिप्शन से एक्शन तक: वास्तविक महत्वाकांक्षा

अभी स्पीच इंटेलिजेंस में हो रहा सबसे महत्वपूर्ण बदलाव सटीकता या लेटेंसी को लेकर नहीं है। यह इस बारे में है कि ट्रांसक्रिप्ट क्या करता है।

स्पीच-टू-एक्शन प्रतिमान में, ASR ट्रांसक्रिप्ट को सीधे एक LLM में भेजा जाता है जो बाहरी उपकरणों को कॉल कर सकता है, डेटाबेस को क्वेरी कर सकता है, वर्कफ़्लो को ट्रिगर कर सकता है और जटिल संवादों को प्रबंधित कर सकता है। वॉयस इंटरफ़ेस एक रीजनिंग इंटरफ़ेस बन जाता है। "मैंने एक बात कही" और "कुछ हुआ" के बीच का अंतर समाप्त हो जाता है।

इसके लिए स्पीच लेयर और रीजनिंग लेयर के बीच एक स्तर के एकीकरण की आवश्यकता होती है जिसे पहले के आर्किटेक्चर समर्थित नहीं कर सकते थे। उभरता हुआ उत्तर है फुल-डुप्लेक्स मल्टीमॉडल मॉडल्स (full-duplex multimodal models) - जहाँ एक ही मॉडल अलग-अलग एएसआर, एलएलएम और टीटीएस सेवाओं के बीच डेटा पाइप करने के बजाय एक ही पाइपलाइन में वॉयस इनपुट, रीजनिंग और वॉयस आउटपुट को संभालता है। Smallest.ai का Hydra इसी दृष्टिकोण को अपनाता है, इरादे की पहचान और वॉयस सिंथेसिस को एक साथ संभालता है ताकि इंटर-सर्विस लेटेंसी को समाप्त किया जा सके जो आपस में जोड़ी गई पाइपलाइनों को अस्वाभाविक बनाती है।

वास्तविक समय की वॉयस एआई व्यावहारिक रूप से कैसी दिखती है

Smallest.ai का Debate Arena इस बात का एक जीवंत प्रदर्शन है कि ऑर्केस्ट्रेशन कितनी दूर तक आ चुका है। यह प्रणाली एआई एजेंटों के बीच एक दार्शनिक बहस का मंचन करती है, जिसमें सुकरात उपयोगकर्ता द्वारा प्रस्तावित किसी भी विषय के पक्ष में तर्क देते हैं और अरस्तू उसके विपक्ष में तर्क देते हैं - अलग-अलग आवाज़ों के साथ, प्रत्येक दौर में एलएलएम द्वारा अनुमानित अभिव्यंजक मुखर मापदंडों (भावना, पिच, वॉल्यूम, प्रोसोडी) के साथ, और एक प्राचीन एथेनियाई न्यायाधीश इस बहस का मूल्यांकन करते हैं।

आवाज़ के माध्यम से काम करने के लिए इस तरह की प्रणाली के लिए, ASR परत को मल्टी-स्पीकर ट्रैकिंग बनाए रखने की आवश्यकता होती है, एजेंटों के एक-दूसरे के ऊपर बोले बिना प्रतिरोधी मोड़-लेने (turn-taking) का समर्थन करना होता है, और यह सब इतनी कम लेटेंसी पर करना होता है कि बातचीत जीवंत महसूस हो। डिबेट एरिना लाइटनिंग टीटीएस v3.2 वेबसॉकेट स्ट्रीमिंग का उपयोग करता है, जिसमें वॉयस पैरामीटर GPT-4o-mini द्वारा प्रत्येक दौर में गतिशील रूप से उत्पन्न होते हैं। यह दो मोडों का समर्थन करता है, दार्शनिक और रोस्ट बैटल, जिसमें बढ़ते हुए तर्क और दर्शकों का मतदान शामिल है।

यह एक मनोरंजक परियोजना है, लेकिन यह कुछ गंभीर प्रदर्शित करती है: मल्टी-एजेंट, मल्टी-वॉयस, रीयल-टाइम वॉयस इंटरेक्शन को काम करने के लिए आवश्यक इंजीनियरिंग अब साध्य है। मूल तत्व मौजूद हैं। सवाल यह है कि उन्हें अच्छी तरह से कैसे संयोजित किया जाए।

यह कहाँ जा रहा है

एआई स्पीच रिकग्निशन का अगला दशक दो अलग-अलग रास्तों पर चलने की संभावना है जो विपरीत दिशाओं में खींच रहे हैं।

पहला है हमेशा बड़े और अधिक विविध डेटासेट पर प्रशिक्षित एक विशाल क्लाउड मॉडल को स्केल करना, जो अधिक भाषाओं, अधिक उच्चारणों, अधिक ध्वनिक स्थितियों को संभालने में सक्षम हो। दूसरा संपीड़न (कंप्रेशन) है, हाइपर-एफिशिएंट ऑन-डिवाइस मॉडल जो क्लाउड पर ऑडियो भेजे बिना फोन या औद्योगिक एज डिवाइस पर स्थानीय रूप से चलते हैं। गोपनीयता, डेटा संप्रभुता, और लेटेंसी की चिंताएं सभी दूसरे मार्ग की ओर धकेल रही हैं, भले ही कच्चे क्षमता में सुधार पहले मार्ग से आ रहे हों।

अनुकूली और व्यक्तिगत स्पीच मॉडल (Adaptive and personalised speech models) एक तीसरी दिशा का प्रतिनिधित्व करते हैं जो दोनों को काटती है। एक एकल मॉडल बनाने के बजाय जो हर चीज में समान रूप से अच्छा होने की कोशिश करता है, भविष्य की प्रणालियाँ वास्तविक समय में एक व्यक्तिगत वक्ता की विशिष्ट पिच, गति और शब्दावली के अनुकूल होंगी। ज़ीरो-शॉट अनुकूलन, संदर्भ ऑडियो के कुछ सेकंड से एक विशिष्ट आवाज़ को पहचानना सीखना बड़े पैमाने पर प्रति-उपयोगकर्ता पुनः प्रशिक्षण की आवश्यकता के बिना इसे साध्य बनाता है।

वास्तव में काम करने वाली चीज़ें बनाना

डेवलपर्स के लिए, रिसर्च बेंचमार्क से प्रोडक्शन सिस्टम में अनुवाद के लिए प्राथमिक मीट्रिक के रूप में वर्ड एरर रेट से आगे बढ़ने की आवश्यकता होती है। WER आपको बताता है कि टेस्ट सेट पर मॉडल कितना सटीक है। यह आपको यह नहीं बताता कि उपयोगकर्ता इस पर भरोसा कर सकते हैं या नहीं।

उत्पादन में मायने रखने वाले मीट्रिक:

• टेल लेटेंसी (P99): क्या सिस्टम भारी लोड के तहत जल्दी प्रतिक्रिया देता है, या क्या यह कभी-कभी इस तरह से स्पाइक करता है जिससे बातचीत टूट जाती है?

• कैलिब्रेटेड विश्वास (Calibrated confidence): जब मॉडल 90% निश्चितता की रिपोर्ट करता है, तो क्या यह वास्तव में 90% समय सही होता है? अनिश्चित मॉडल की तुलना में अत्यधिक आत्मविश्वासी मॉडल अधिक खतरनाक होते हैं।

• डोमेन-विशिष्ट अनुकूलन: क्या सिस्टम आपकी शब्दावली को संभालता है? चिकित्सा शब्द, उत्पाद के नाम, और तकनीकी शब्दावली जो सामान्य प्रशिक्षण डेटा में दिखाई नहीं देते हैं, उन्हें वर्ड बूस्टिंग और कस्टम डिक्शनरी के माध्यम से संबोधित किया जा सकता है।

Smallest.ai का इकोसिस्टम इन प्रोडक्शन बाधाओं के इर्द-गिर्द बने उपकरणों का एक सेट प्रदान करता है। Pulse STT 30+ भाषाओं में अंतर्निहित डायराइजेशन के साथ 64ms TTFT प्रदान करता है। Lightning ASR को 300ms से कम लेटेंसी के लिए अनुकूलित किया गया है, जिसमें विशेष रूप से गैर-अंग्रेजी भाषाओं में ताकत है। Hydra संपूर्ण वॉयस बातचीत पाइपलाइन जैसे कि इनपुट, रीजनिंग और आउटपुट को एक ही मॉडल में संभालता है।

"काम करने" का वास्तव में क्या अर्थ है, इस पर एक टिप्पणी

बाजार के अनुमान - 2030 तक $19.5 बिलियन, वैश्विक आबादी का 27% पहले से ही वॉयस कमांड का उपयोग कर रहा है - आमतौर पर अपनाने को मापते हैं, संतुष्टि को नहीं। एक प्रणाली जो एक शांत कमरे में एक वक्ता के लिए काम करती है और एक शोरगुल वाले कमरे में दूसरे वक्ता के लिए विफल हो जाती है, वह कोई हल की गई समस्या नहीं है, भले ही वह प्रभावशाली सटीकता संख्या के साथ आती हो।

ऑटोमैटिक स्पीच रिकग्निशन का इतिहास प्रणालियों के अच्छे संसाधनों वाली आवाज़ों पर प्रभावशाली रूप से अच्छे होने और अन्य सभी पर धीरे-धीरे बेहतर होने का इतिहास रहा है। आर्किटेक्चर में वास्तव में सुधार हुआ है - एन्कोडर-डिकोडर ट्रांसफार्मर, एंड-टू-एंड प्रशिक्षण, और शोर-मजबूत शिक्षण 1990 के दशक की नियम-आधारित प्रणालियों की तुलना में सार्थक प्रगति हैं। लेकिन सामान्यीकरण का वह अंतर जो प्रयोगशाला में 95% सटीकता की संख्या को क्षेत्र में 75% सटीकता की संख्या बना देता है, कोई तकनीकी विचार नहीं है। यह केंद्रीय समस्या है।

भरोसे के योग्य वॉयस इंटरफेस बनाने का अर्थ है आपके द्वारा चुने गए प्रशिक्षण डेटा, आपके द्वारा उजागर किए जाने वाले विश्वास मेटाडेटा, आपके द्वारा परीक्षण की जाने वाली शोर स्थितियों, और उन समुदायों की आवाज़ों को गंभीरता से लेना जिन्हें आप किनारे के मामलों (एज केसेस) के बजाय प्राथमिक मामलों के रूप में मानते हैं।

वॉयस-फर्स्ट इंटरफेस का युग केवल आ ही नहीं गया है। यह असमान रूप से आ रहा है। और जो इंजीनियर समझते हैं कि क्यों, उनके पास कुछ बेहतर बनाने का वास्तविक अवसर है।

इस लेख में संदर्भित उपकरण: Pulse STT, Lightning ASR, Hydra, Multilingual Translator, Voice Chinese Whispers, Debate Arena