वॉयस एआई आर्किटेक्चर एक ऐसे सिस्टम के लिए वायरिंग आरेख की तरह है जो सुन सकता है, समझ सकता है, वापस बोल सकता है, और इसे इतनी तेजी से कर सकता है कि इसे एक सामान्य बातचीत माना जा सके। स्पीच रिकग्निशन, लैंग्वेज रीजनिंग, स्पीच सिंथेसिस और टेलीफोनी प्रत्येक एक विशिष्ट प्रकार का अनुवाद करते हैं, लेकिन उनके बीच का तालमेल यह तय करता है कि अनुभव सहज और तेज़ महसूस होता है या फिर दर्दनाक रूप से विलंबित।

इंसान बातचीत में लंबे समय तक के सन्नाटे को बर्दाश्त नहीं कर सकते। एक सिस्टम को उपयोगकर्ता को सुनना होगा, उनके इरादे को समझना होगा, यह तय करना होगा कि क्या कहना है, और एक समय सीमा के भीतर वापस बोलना शुरू करना होगा जो संवादात्मक महसूस हो। यदि आप उस समय सीमा से चूक जाते हैं, तो उपयोगकर्ता बीच में ही बोलने लगते हैं, अपनी बात दोहराते हैं, या बातचीत को बीच में ही छोड़ देते हैं। यदि आप इसे सही ढंग से करते हैं, तो तकनीक पृष्ठभूमि में विलीन हो जाती है और अनुभव बेहतरीन हो जाता है।

वॉयस एआई आर्किटेक्चर के चार स्तंभ

रीयल-टाइम वॉयस सिस्टम आमतौर पर एक ही चार-स्तरीय स्टैक पर आकर मिलते हैं। आप वेंडर्स और मॉडल्स को बदल सकते हैं, लेकिन आप इन परतों को खत्म नहीं कर सकते: प्रत्येक परत अपने स्वयं के विलंबता (लेटेंसी) बजट, अपनी असफलताओं के तरीकों और अपने स्वयं के नियंत्रण तंत्र के साथ आती है। यदि आप यह पता लगाना चाहते हैं कि कोई वॉयस एजेंट "धीमा" या "अजीब" क्यों महसूस हो रहा है, तो आप यह समझने से शुरुआत करते हैं कि प्रत्येक परत किस चीज के लिए जिम्मेदार है।

वॉयस एआई स्टैक की प्रत्येक परत डेटा के एक अलग रूपांतरण को संभालती है।

स्पीच-टू-टेक्स्ट (STT): ध्वनि को अर्थ में बदलना

स्पीच-टू-टेक्स्ट (STT), जिसे अक्सर ऑटोमैटिक स्पीच रिकग्निशन (ASR) कहा जाता है, कच्चे ऑडियो को लेता है और इसे एक ट्रांसक्रिप्ट में बदल देता है जिसके साथ बाकी का स्टैक काम कर सकता है। रीयल टाइम में, STT इंजन पूरी बात के समाप्त होने का इंतजार नहीं कर सकता। जैसे-जैसे व्यक्ति बोलता है, यह आंशिक अनुमानों को स्ट्रीम करता है (स्ट्रीमिंग ट्रांसक्रिप्शन), जिससे बाद वाले घटकों को खाली बैठने के बजाय जल्दी शुरुआत करने में मदद मिलती है। इसका नकारात्मक पहलू यह है कि गलतियाँ आगे बढ़ती हैं: एक वाक्य की शुरुआत के करीब एक गलत शब्द LLM को गलत इरादे की ओर ले जा सकता है और ऐसा उत्तर दे सकता है जो सुनने में आश्वस्त करने वाला लगे लेकिन फिर भी गलत हो।

गति को प्रभावित करने वाला एक मुख्य कारक वॉयस एक्टिविटी डिटेक्शन (VAD) है, जो यह तय करता है कि भाषण कब शुरू होता है और कब समाप्त होता है। यदि VAD को रूढ़िवादी रूप से ट्यून किया जाता है, तो यह भाषण के अंत की घोषणा करने से पहले संकोच करेगा, और वह संकोच एक ठहराव के रूप में दिखाई देता है जिसे उपयोगकर्ता यह समझते हैं कि "बॉट सोच रहा है।" उत्पादन में, लेटेंसी की बहुत सी शिकायतें वास्तव में एंडपॉइंटर व्यवहार के कारण होती हैं।

लार्ज लैंग्वेज मॉडल्स (LLM): रीज़निंग कोर (तर्क क्षमता)

लार्ज लैंग्वेज मॉडल्स बड़े प्रशिक्षण डेटा से सीखे गए पैटर्न का उपयोग करके टेक्स्ट प्रॉम्प्ट से टेक्स्ट प्रतिक्रियाएं उत्पन्न करते हैं। एक वॉयस पाइपलाइन में, LLM ट्रांसक्रिप्ट और उत्तर के बीच बैठता है: यह STT आउटपुट प्राप्त करता है और उन शब्दों को तैयार करता है जिन्हें सिस्टम वापस बोलेगा। असली समस्या प्रदर्शन की है। LLM निष्कर्ष (इन्फ्रेंस) आमतौर पर देरी का सबसे बड़ा एकल स्रोत होता है, जो अक्सर पाइपलाइन में लेटेंसी के सबसे बड़े हिस्से का प्रतिनिधित्व करता है। जब आप मिलीसेकंड को कम करने की कोशिश कर रहे हों तो दो रणनीतियाँ सबसे अधिक मायने रखती हैं: संरचित वर्कफ़्लो के लिए छोटे, कार्य-केंद्रित मॉडल चुनें, और LLM आउटपुट को टोकन-बाय-टोकन स्ट्रीम करें ताकि मॉडल द्वारा पूरी प्रतिक्रिया तैयार करने से पहले ही TTS बोलना शुरू कर सके।

टेक्स्ट-टू-स्पीच (TTS): AI को एक आवाज़ देना

टेक्स्ट-टू-स्पीच LLM के टेक्स्ट को ऐसे ऑडियो में बदलता है जिसे उपयोगकर्ता वास्तव में सुन सकता है। न्यूरल TTS उस बिंदु पर पहुंच गया है जहां यह पूरी तरह से इंसानी आवाज जैसा लग सकता है, लेकिन फिर भी गुणवत्ता के लिए आपको गणना (कंप्यूट) समय के रूप में भुगतान करना पड़ता है। इंटरैक्टिव सिस्टम के लिए, गैर-परक्राम्य आवश्यकता स्ट्रीमिंग है: TTS इंजन को टेक्स्ट आने के साथ ही ऑडियो चंक्स उत्सर्जित करने की आवश्यकता होती है, न कि पूरा वाक्य उपलब्ध होने के बाद। टीमें जिस मीट्रिक पर नज़र रखती हैं, वह यह है कि पहला ऑडियो चंक उपयोगकर्ता के डिवाइस पर कब पहुंचता है, जिसे अक्सर टाइम टू फर्स्ट ऑडियो बाइट (TTFAB) के रूप में ट्रैक किया जाता है, क्योंकि वही वह क्षण होता है जब बातचीत में ठहराव महसूस होना बंद हो जाता है।

टेलीफोनी: डिलीवरी लेयर

टेलीफोनी वह ट्रांसपोर्ट लेयर है जो आपके सिस्टम और दूसरी तरफ के व्यक्ति के बीच ऑडियो ले जाती है, चाहे वह सार्वजनिक फोन नेटवर्क हो, वीओआईपी (VoIP) हो, या वेबआरटीसी (WebRTC) पर एक ब्राउज़र सत्र हो। अधिकांश आधुनिक परिनियोजन (डिप्लॉयमेंट) SIP ट्रंकिंग या WebRTC मीडिया सर्वर पर भरोसा करते हैं, और इंजीनियरिंग के दृष्टिकोण से इनमें से कोई भी "मुफ़्त" नहीं है। कोडेक्स कंप्रेसन आर्टिफैक्ट्स लाते हैं, नेटवर्क जिटर लाते हैं, और दोनों ही STT सटीकता को प्रभावित कर सकते हैं और इस तरह से देरी जोड़ सकते हैं जो केवल वास्तविक ट्रैफ़िक के तहत ही दिखाई देती है।

पाइपलाइन वास्तव में कैसे काम करती है

हर चरण में समानांतर स्ट्रीमिंग ही वॉयस-टू-वॉयस लेटेंसी को 500ms से कम रखती है।

एक रीयल-टाइम वॉयस स्टैक कोई रिले रेस नहीं है जहां एक घटक समाप्त होता है और अगले को जिम्मेदारी सौंपता है। जो सिस्टम त्वरित प्रतिक्रिया देते हैं, वे चरणों को समानांतर रूप से चलाते हैं, जहां भी संभव हो स्ट्रीमिंग और ओवरलैप का उपयोग करते हैं। उपयोगकर्ता के बोलना शुरू करने के तुरंत बाद STT आंशिक टेक्स्ट उत्सर्जित करना शुरू कर देता है। पर्याप्त संदर्भ मिलने के बाद LLM टोकन बनाना शुरू कर देता है। TTS प्राप्त होने वाले पहले टुकड़े से ही सिंथेसाइज करना शुरू कर सकता है। इसे अच्छी तरह से करने पर, उपयोगकर्ता अपने वाक्य के अंत तक पहुंचता है जबकि सिस्टम पहले से ही उत्तर तैयार करने की प्रक्रिया में होता है।

वह ओवरलैप वॉयस इंटरैक्शन को प्रतिक्रियाशील बनाए रखने में मदद करता है। ओवरलैप एक आर्किटेक्चरल आवश्यकता क्यों है, इस पर करीब से नज़र डालने के लिए, रीयल-टाइम वॉयस के लिए स्ट्रीमिंग आर्किटेक्चर पर लेख उन ठोस डिज़ाइनों को दिखाता है जो इसे संभव बनाते हैं।

लेटेंसी बजट: वास्तव में समय कहाँ खर्च होता है

बजट समस्या को स्पष्ट करता है: LLM वह जगह है जहाँ अधिकांश पाइपलाइनें अपना समय खर्च करती हैं। यदि आप एक बड़े सामान्य-उद्देश्य वाले मॉडल को एक छोटे मॉडल से बदलते हैं जो एक संकीर्ण डोमेन के लिए अनुकूलित है, तो आप अक्सर ग्राहक सहायता या अपॉइंटमेंट शेड्यूलिंग जैसे संरचित प्रवाहों के लिए प्रतिक्रिया गुणवत्ता को बरकरार रखते हुए इन्फ्रेंस समय को आधे से अधिक कम कर सकते हैं। यही एक बड़ा कारण है कि वॉयस के लिए अनुकूलित "संवादात्मक" मॉडल अपने आप में उत्पादों के रूप में उभरे हैं, न कि केवल एक विशाल सामान्य मॉडल के ऊपर एक चेकबॉक्स के रूप में।

वास्तविक दुनिया में परिनियोजन (डिप्लॉयमेंट): व्यावहारिक रूप से यह कैसा दिखता है

वही चार-घटक वॉयस एआई आर्किटेक्चर विभिन्न लेटेंसी और सटीकता आवश्यकताओं वाले उद्योगों में अनुकूलित होता है।

एक विशिष्ट संपर्क केंद्र रोलआउट में, टेलीफोनी SIP के माध्यम से एक मौजूदा PBX या क्लाउड फोन सिस्टम से जुड़ती है। ऑडियो आने पर STT कॉलर की बात को ट्रांसक्राइब करता है, LLM फ़ंक्शन कॉलिंग के माध्यम से नॉलेज बेस या CRM से सही तथ्यों को प्राप्त करता है, और TTS एक सुसंगत ब्रांड आवाज़ में वापस बोलता है। एक मानव एजेंट तब तक बाहर रहता है जब तक कि सिस्टम एस्केलेशन की आवश्यकता को चिह्नित नहीं करता। इसे शुरू से अंत तक लागू करने वाली टीमों के लिए, वॉयस बॉट आर्किटेक्चर पर एक नज़र दर्शाती है कि ये हिस्से उत्पादन SDK के अंदर कैसे जुड़े हुए हैं।

वॉयस एआई आर्किटेक्चर के बारे में आम गलतफहमियां

तीन महत्वपूर्ण वॉयस एआई आर्किटेक्चर मान्यताओं के बीच तथ्य और कल्पना को अलग करना।

गलतफहमी 1: बेहतर सटीकता का मतलब हमेशा कम लेटेंसी होता है। सटीकता और लेटेंसी आमतौर पर विपरीत दिशाओं में खींचती हैं। एक बड़ा ASR मॉडल अधिक सटीक हो सकता है, लेकिन इसमें अक्सर प्रति ऑडियो चंक अधिक समय लगता है। रीयल-टाइम बातचीत में, थोड़ा कम सटीक मॉडल जो जल्दी प्रतिक्रिया देता है, बेहतर अनुभव प्रदान कर सकता है क्योंकि उपयोगकर्ता को प्रतीक्षा नहीं करनी पड़ती। यह व्यापार काम पर निर्भर करता है: चिकित्सा श्रुतलेख (मेडिकल डिक्टेशन) त्रुटियों को कम करने के लिए अतिरिक्त देरी को स्वीकार कर सकता है; एक ग्राहक सेवा बॉट आम तौर पर ऐसा नहीं कर सकता।

गलतफहमी 2: LLM ही वॉयस एआई है। LLM सबसे दृश्यमान घटक है, लेकिन यह अभी भी चार-परत प्रणाली का केवल एक हिस्सा है। जो टीमें STT गुणवत्ता, TTS उच्चारण, या टेलीफोनी बाधाओं की उपेक्षा करते हुए मॉडल विकल्प के बारे में जुनूनी होती हैं, वे कुछ ऐसा बना लेती हैं जो "तर्क" तो कर सकता है लेकिन फिर भी अप्राकृतिक लगता है या बहुत धीमी गति से प्रतिक्रिया देता है। उपयोगकर्ता पूरे स्टैक का मूल्यांकन करते हैं, उसकी सभी कड़ियों के साथ।

गलतफहमी 3: स्पीच-टू-स्पीच मॉडल इस आर्किटेक्चर की आवश्यकता को समाप्त कर देते हैं। स्पीच-टू-स्पीच (S2S) मॉडल जो ऑडियो लेते हैं और ऑडियो आउटपुट उत्पन्न करते हैं, वे वास्तविक हैं और यह श्रेणी बढ़ रही है। आज मुख्य बात नियंत्रण की है। कई उत्पादन डिप्लॉयमेंट को अभी भी पूर्वानुमेय व्यवहार, ऑडिटेबिलिटी और व्यावसायिक लॉजिक को इंजेक्ट करने के लिए स्पष्ट स्थानों की आवश्यकता होती है, जो स्पष्ट STT, LLM और TTS चरणों को रखने पर आसान होते हैं। इस आलोक में, S2S को विशिष्ट कम-लेटेंसी परिदृश्यों के लिए एक पूरक विकल्प के रूप में बेहतर माना जाता है, न कि STT + LLM + TTS पाइपलाइन के पूर्ण प्रतिस्थापन के रूप में।

उत्पादन के लिए डिज़ाइन करना: प्रमुख आर्किटेक्चरल निर्णय

एक STT मॉडल, एक LLM और एक TTS आवाज़ चुनना आसान हिस्सा है। कठिन हिस्सा वास्तविक ट्रैफ़िक, रुकावटों, शोरगुल वाले ऑडियो और जटिल उपयोगकर्ता इरादों के तहत सिस्टम को सही ढंग से व्यवहार में लाना है। एआई वॉयस एजेंटों को डिजाइन करने पर लेख सुरक्षा उपायों और उपयोग-मामले के पैटर्न पर गहराई से चर्चा करता है जो बुनियादी पाइपलाइन के शीर्ष पर बैठते हैं।

उत्पादन वॉयस एआई प्रणालियों के लिए महत्वपूर्ण आर्किटेक्चरल निर्णय:

• रुकावट से निपटना (Interruption handling): उपयोगकर्ता अक्सर बीच वाक्य में ही एआई की प्रतिक्रियाओं को बाधित करते हैं। सिस्टम को VAD के माध्यम से इस रुकावट का पता लगाने, सक्रिय TTS स्ट्रीम को रद्द करने और अद्यतन संदर्भ के साथ LLM को पुनरारंभ करने की आवश्यकता है। यदि यह ऐसा नहीं कर सकता, तो यह तुरंत एक ऐसे बॉट जैसा महसूस होता है जो लोगों के ऊपर बोलता है।

• संदर्भ विंडो प्रबंधन (Context window management): LLM को हर बार बातचीत का इतिहास प्राप्त होता है। जैसे-जैसे वह इतिहास बढ़ता है, इन्फ्रेंस का समय बढ़ता जाता है। सारांश या स्लाइडिंग-विंडो रणनीतियाँ महत्वपूर्ण जानकारी को खोए बिना संदर्भ को सीमित रखती हैं।

• फ़ॉलबैक और एस्केलेशन लॉजिक: उत्पादन प्रणालियों को कम-विश्वास वाले STT, दायरे से बाहर के अनुरोधों और भावनात्मक एस्केलेशन संकेतों के लिए परिभाषित व्यवहार की आवश्यकता होती है। इन्हें प्राथमिक घटकों के रूप में मानें, न कि ऐसे व्यवहार के रूप में जिन्हें आप बाद में जोड़ते हैं।

• एज बनाम क्लाउड डिप्लॉयमेंट: क्लाउड एंडपॉइंट पर ऑडियो भेजने से नेटवर्क विलंब बढ़ता है। एक सामान्य हाइब्रिड पैटर्न एज पर STT और TTS चलाना है, जबकि लचीलेपन के लिए क्लाउड में LLM इन्फ्रेंस रखना है। 

• कोडेक और ऑडियो गुणवत्ता: टेलीफोनी G.711 या Opus जैसे कोडेक्स के साथ ऑडियो को कंप्रेस करती है। कोडेक का चयन TTS आउटपुट निष्ठा और STT इनपुट सटीकता को प्रभावित करता है। इस परत को अनदेखा करने पर आप उत्पादन में अजीब सटीकता समस्याओं से जूझते रह जाएंगे।

मुख्य बातें

रीयल-टाइम वॉयस एआई आर्किटेक्चर के बारे में याद रखने योग्य बातें:

• वॉयस एआई आर्किटेक्चर चार चरणों को जोड़ता है: STT भाषण को टेक्स्ट में बदलता है, LLM एक उत्तर उत्पन्न करता है, TTS उस उत्तर को ऑडियो में बदलता है, और टेलीफोनी इसे उपयोगकर्ता तक पहुंचाती है। 

• संवादात्मक महसूस करने के लिए, कुल वॉयस-टू-वॉयस लेटेंसी को उस सीमा के भीतर रहना चाहिए जो प्राकृतिक बातचीत का समर्थन करती है। 

• LLM इन्फ्रेंस आमतौर पर कुल पाइपलाइन देरी में सबसे बड़ा योगदानकर्ता होता है। 

• प्रतिक्रियाशील वॉयस सिस्टम क्रमिक निष्पादन के बजाय सभी चार परतों में स्ट्रीमिंग और ओवरलैप पर भरोसा करते हैं। 

• STT परत में VAD ट्यूनिंग एक आसानी से छूट जाने वाला लीवर है जो महसूस की जाने वाली प्रतिक्रियात्मकता को भौतिक रूप से बदल सकता है।

• वास्तविक डिप्लॉयमेंट को रुकावट, संदर्भ प्रबंधन, फ़ॉलबैक, एस्केलेशन और कोडेक विकल्पों के लिए स्पष्ट डिज़ाइन की आवश्यकता होती है।

• स्पीच-टू-स्पीच मॉडल उपयोगी हो सकते हैं, लेकिन वे अधिकांश उत्पादन आवश्यकताओं के लिए STT + LLM + TTS पाइपलाइन की जगह नहीं लेते हैं। 

चार-घटक वॉयस एआई पाइपलाइन और उसके लेटेंसी बेंचमार्क का एक त्वरित-संदर्भ सारांश।

Smallest.ai के साथ इसे एक साथ लाना

रीयल-टाइम वॉयस एआई में विफलता आमतौर पर अलग से "STT टूटने" या "TTS टूटने" के कारण नहीं होती है। यह पूरी श्रृंखला में छोटे विलंबों, असंगत व्यवहार और एकीकरण के घर्षण का संचयी प्रभाव है। जब टीमें कई वेंडरों से स्टैक इकट्ठा करती हैं, तो उन्हें तालमेल की समस्या विरासत में मिलती है: प्रत्येक प्रदाता अपनी परत को अनुकूलित करता है, और परतों के बीच का तालमेल पीछे छूट जाता है। Smallest.ai को उन परतों के बीच एकीकरण की जटिलता को कम करने के लिए डिज़ाइन किया गया है।

यह वॉयस स्टैक की प्रमुख परतों के लिए विशेष रूप से निर्मित उत्पाद प्रदान करता है, जिसमें स्ट्रीमिंग स्पीच-टू-टेक्स्ट के लिए Pulse, कम-लेटेंसी न्यूरल टेक्स्ट-टू-स्पीच के लिए Lightning, और स्वयं एकीकरण का प्रबंधन किए बिना उन घटकों को एक पूर्ण वॉयस एजेंट में जोड़ने के लिए Atoms शामिल हैं। उन टीमों के लिए जो कई वॉयस इंफ्रास्ट्रक्चर घटकों को आपस में जोड़े बिना कम-लेटेंसी वाली वॉयस बातचीत बनाना चाहती हैं, यह एकीकृत स्टैक इंजीनियरिंग ओवरहेड के एक बड़े हिस्से को हटा देता है। ऊपर वर्णित पाइपलाइन उन्हीं आर्किटेक्चरल सिद्धांतों को दर्शाती है जिनका उपयोग उत्पादन वॉयस एआई प्रणालियों में किया जाता है।