वॉयस एआई आर्किटेक्चर एक ऐसे सिस्टम के लिए वायरिंग आरेख की तरह है जो सुन सकता है, समझ सकता है, वापस बोल सकता है, और यह सब इतनी तेज़ी से कर सकता है कि यह एक सामान्य बातचीत जैसा लगे। स्पीच रिकग्निशन, लैंग्वेज रीजनिंग, स्पीच सिंथेसिस, और टेलीफोनी में से प्रत्येक विशिष्ट प्रकार का अनुवाद करते हैं, लेकिन उनके बीच का हैंडऑफ़ यह तय करता है कि अनुभव त्वरित (snappy) महसूस होता है या दर्दनाक रूप से विलंबित।

इंसानों में शांत समय (dead air) के लिए बहुत कम सहनशीलता होती है। एक सिस्टम को उपयोगकर्ता को सुनना होता है, उनके इरादे को समझना होता है, यह तय करना होता है कि क्या कहना है, और एक ऐसी समय-सीमा के भीतर वापस बोलना शुरू करना होता है जो संवादात्मक महसूस हो। यदि वह समय-सीमा चूक जाती है, तो उपयोगकर्ता बीच में ही बोलने लगते हैं, अपनी बात दोहराते हैं, या बातचीत को बीच में ही छोड़ देते हैं। यदि यह सब सही समय पर होता है, तो तकनीक पृष्ठभूमि में ओझल हो जाती है।

वॉयस एआई आर्किटेक्चर के चार स्तंभ

रीयल-टाइम वॉयस सिस्टम अक्सर एक ही चार-स्तरीय स्टैक पर आकर मिलते हैं। आप वेंडर्स और मॉडल बदल सकते हैं, लेकिन आप इन स्तरों को हटा नहीं सकते: प्रत्येक स्तर का अपना लेटेंसी बजट, विफल होने के अपने तरीके और ट्यून करने के लिए अपने नॉब्स होते हैं। यदि आप यह पता लगाना चाहते हैं कि कोई वॉयस एजेंट "धीमा" या "अजीब" क्यों महसूस हो रहा है, तो आप यह समझने से शुरुआत करते हैं कि प्रत्येक स्तर किस चीज़ के लिए ज़िम्मेदार है।

वॉयस एआई स्टैक का प्रत्येक स्तर डेटा के एक विशिष्ट परिवर्तन को संभालता है।

स्पीच-टू-टेक्स्ट (STT): ध्वनि को अर्थ में बदलना

स्पीच-टू-टेक्स्ट (STT), जिसे अक्सर ऑटोमैटिक स्पीच रिकग्निशन (ASR) कहा जाता है, कच्चे ऑडियो को लेता है और इसे एक ट्रांसक्रिप्ट में बदल देता है जिसके साथ बाकी का स्टैक काम कर सकता है। रीयल टाइम में, STT इंजन पूरी बात खत्म होने का इंतज़ार नहीं कर सकता। जैसे ही व्यक्ति बोलता है, यह आंशिक अनुमानों को स्ट्रीम करता है (स्ट्रीमिंग ट्रांसक्रिप्शन), जिससे आगे के घटक निष्क्रिय बैठने के बजाय जल्दी काम शुरू कर पाते हैं। इसका नुकसान यह है कि गलतियाँ आगे बढ़ती जाती हैं: बोली गई बात की शुरुआत में एक गलत शब्द एलएलएम (LLM) को गलत इरादे की ओर ले जा सकता है और ऐसा उत्तर दे सकता है जो सुनने में आश्वस्त करने वाला लगे लेकिन फिर भी गलत हो।

एक चीज़ जो महसूस होने वाली गति को चुपचाप प्रभावित करती है, वह है वॉयस एक्टिविटी डिटेक्शन (VAD), वह लॉजिक जो यह तय करता है कि बोलना कब शुरू हुआ और कब खत्म हुआ। यदि VAD को रूढ़िवादी तरीके से ट्यून किया जाता है, तो यह बोलना समाप्त घोषित करने से पहले संकोच करेगा, और वह संकोच एक ठहराव के रूप में दिखाई देता है जिसे उपयोगकर्ता "बॉट सोच रहा है" के रूप में समझते हैं। प्रोडक्शन में, लेटेंसी की बहुत सी शिकायतें असल में एंडपॉइंटर व्यवहार के कारण होती हैं।

लार्ज लैंग्वेज मॉडल्स (LLM): तार्किक केंद्र

लार्ज लैंग्वेज मॉडल्स बड़े प्रशिक्षण डेटा से सीखे गए पैटर्न का उपयोग करके टेक्स्ट प्रॉम्प्ट से टेक्स्ट प्रतिक्रियाएं उत्पन्न करते हैं। एक वॉयस पाइपलाइन में, LLM ट्रांसक्रिप्ट और उत्तर के बीच बैठता है: यह STT आउटपुट प्राप्त करता है और उन शब्दों को तैयार करता है जिन्हें सिस्टम वापस बोलेगा। इसमें मुख्य समस्या प्रदर्शन की है। LLM इंफरेंस (अनुमान) आमतौर पर देरी का सबसे बड़ा कारण होता है, जो अक्सर पाइपलाइन में लेटेंसी के सबसे बड़े हिस्से का प्रतिनिधित्व करता है। जब आप मिलीसेकंड बचाना चाहते हैं, तो दो रणनीतियाँ सबसे ज़्यादा मायने रखती हैं: संरचित वर्कफ़्लो के लिए छोटे, कार्य-केंद्रित मॉडल चुनें, और LLM आउटपुट को टोकन-दर-टोकन स्ट्रीम करें ताकि मॉडल द्वारा पूरी प्रतिक्रिया तैयार करने से पहले ही TTS बोलना शुरू कर सके।

टेक्स्ट-टू-स्पीच (TTS): एआई को आवाज़ देना

टेक्स्ट-टू-स्पीच LLM के टेक्स्ट को ऐसे ऑडियो में बदल देता है जिसे उपयोगकर्ता वास्तव में सुन सकता है। न्यूरल TTS उस बिंदु पर पहुंच गया है जहां यह पूरी तरह से इंसानी लग सकता है, लेकिन गुणवत्ता के लिए आपको अतिरिक्त कंप्यूट समय खर्च करना पड़ता है। इंटरैक्टिव सिस्टम के लिए, स्ट्रीमिंग एक आवश्यक आवश्यकता है: TTS इंजन को टेक्स्ट आने के साथ ही ऑडियो चंक्स (टुकड़े) जारी करने की आवश्यकता होती है, न कि पूरा वाक्य उपलब्ध होने के बाद। टीमें इस बात पर नज़र रखती हैं कि पहला ऑडियो टुकड़ा उपयोगकर्ता के डिवाइस तक कब पहुँचता है, जिसे अक्सर टाइम टू फर्स्ट ऑडियो बाइट (TTFAB) के रूप में ट्रैक किया जाता है, क्योंकि वही वह क्षण होता है जब बातचीत में आया ठहराव खत्म महसूस होता है।

टेलीफोनी: डिलीवर करने वाला स्तर

टेलीफोनी वह ट्रांसपोर्ट लेयर है जो आपके सिस्टम और दूसरी तरफ के व्यक्ति के बीच ऑडियो ले जाती है, चाहे वह सार्वजनिक फोन नेटवर्क हो, वीओआईपी (VoIP) हो, या WebRTC के माध्यम से एक ब्राउज़र सेशन हो। अधिकांश आधुनिक परिनियोजन (deployments) SIP ट्रंकिंग या WebRTC मीडिया सर्वर पर भरोसा करते हैं, और इंजीनियरिंग के नज़रिए से इनमें से कोई भी मुफ्त नहीं है। कोडेक्स कम्प्रेशन आर्टिफ़ैक्ट्स पेश करते हैं, नेटवर्क जिटर लाते हैं, और दोनों ही STT सटीकता को प्रभावित कर सकते हैं और देरी बढ़ा सकते हैं जो केवल वास्तविक ट्रैफ़िक के तहत ही दिखाई देती है।

पाइपलाइन वास्तव में कैसे काम करती है

हर चरण में समानांतर स्ट्रीमिंग ही वॉयस-टू-वॉयस लेटेंसी को 500ms से कम रखती है।

एक वास्तविक समय का वॉयस स्टैक ऐसी रिले रेस नहीं है जहां एक घटक अपना काम पूरा करता है और अगले को सौंप देता है। जो सिस्टम त्वरित प्रतिक्रिया देते हैं वे चरणों को समानांतर में चलाते हैं, जहां भी संभव हो वहां स्ट्रीमिंग और ओवरलैप का उपयोग करते हैं। उपयोगकर्ता के बोलना शुरू करने के तुरंत बाद STT आंशिक टेक्स्ट जारी करना शुरू कर देता है। पर्याप्त संदर्भ मिलते ही LLM टोकन बनाना शुरू कर देता है। TTS पहले ही टुकड़े से सिंथेसाइज़ करना शुरू कर सकता है। यदि इसे अच्छी तरह से किया जाए, तो उपयोगकर्ता अपने वाक्य के अंत तक पहुँचता है और सिस्टम पहले से ही प्रतिक्रिया तैयार करने के आधे रास्ते पर होता है।

यह ओवरलैप ही वॉयस इंटरैक्शन को त्वरित बनाए रखने में मदद करता है। ओवरलैप एक आर्किटेक्चरल आवश्यकता क्यों है, इस पर करीब से नज़र डालने के लिए, रीयल-टाइम वॉयस के लिए स्ट्रीमिंग आर्किटेक्चर पर लेख उन ठोस डिज़ाइन विकल्पों के बारे में बताता है जो इसे काम करने योग्य बनाते हैं।

लेटेंसी बजट: वास्तव में समय कहाँ खर्च होता है

बजट समस्या को स्पष्ट कर देता है: LLM वह जगह है जहाँ अधिकांश पाइपलाइनें अपना समय बिताती हैं। यदि आप एक बड़े सामान्य-उद्देश्य वाले मॉडल को एक संकीर्ण क्षेत्र के लिए ट्यून किए गए छोटे मॉडल से बदलते हैं, तो आप ग्राहक सहायता या अपॉइंटमेंट शेड्यूलिंग जैसे संरचित प्रवाहों के लिए प्रतिक्रिया की गुणवत्ता को बरकरार रखते हुए अक्सर इंफरेंस के समय को आधे से अधिक कम कर सकते हैं। यही एक बड़ा कारण है कि आवाज के लिए अनुकूलित "संवादात्मक" मॉडल अपने आप में एक अलग उत्पाद के रूप में उभरे हैं, न कि किसी विशाल सामान्य मॉडल के शीर्ष पर सिर्फ एक चेकबॉक्स के रूप में।

वास्तविक दुनिया में परिनियोजन (Deployment): व्यावहारिक रूप से यह कैसा दिखता है

एक ही चार-घटक वॉयस एआई आर्किटेक्चर विभिन्न लेटेंसी और सटीकता आवश्यकताओं के साथ विभिन्न उद्योगों के अनुकूल हो जाता है।

एक सामान्य संपर्क केंद्र रोलआउट में, टेलीफोनी SIP के माध्यम से एक मौजूदा PBX या क्लाउड फोन सिस्टम से जुड़ती है। ऑडियो आने पर STT कॉल करने वाले की आवाज़ को ट्रांसक्राइब करता है, LLM फ़ंक्शन कॉलिंग के ज़रिए नॉलेज बेस या CRM से सही तथ्य प्राप्त करता है, और TTS एक सुसंगत ब्रांड वॉइस में वापस बात करता है। एक मानव एजेंट तब तक प्रक्रिया से बाहर रहता है जब तक कि सिस्टम किसी समस्या को आगे बढ़ाने (escalane) की आवश्यकता को चिह्नित नहीं करता। इसे शुरू से अंत तक लागू करने वाली टीमों के लिए, वॉयस बॉट आर्किटेक्चर पर एक नज़र दर्शाती है कि उत्पादन SDK के भीतर ये हिस्से कैसे जुड़े होते हैं।

वॉयस एआई आर्किटेक्चर के बारे में आम गलतफहमियां

तीन महत्वपूर्ण वॉयस एआई आर्किटेक्चर मान्यताओं के बारे में तथ्य और कल्पना को अलग करना।

गलतफहमी 1: बेहतर सटीकता का हमेशा मतलब कम लेटेंसी होता है। सटीकता और लेटेंसी आमतौर पर विपरीत दिशाओं में काम करती हैं। एक बड़ा ASR मॉडल अधिक सटीक हो सकता है, लेकिन यह अक्सर प्रति ऑडियो टुकड़े में अधिक समय लेता है। रीयल-टाइम बातचीत में, थोड़ा कम सटीक मॉडल जो जल्दी प्रतिक्रिया देता है, बेहतर अनुभव प्रदान कर सकता है क्योंकि उपयोगकर्ता को इंतज़ार नहीं करना पड़ता। यह काम पर निर्भर करता है: मेडिकल डिक्टेशन त्रुटियों को कम करने के लिए अतिरिक्त देरी को स्वीकार कर सकता है; एक ग्राहक सेवा बॉट आम तौर पर ऐसा नहीं कर सकता।

गलतफहमी 2: एलएलएम (LLM) ही वॉयस एआई है। LLM सबसे दृश्यमान घटक है, लेकिन यह अभी भी चार-स्तरीय प्रणाली का केवल एक हिस्सा है। जो टीमें STT गुणवत्ता, TTS उच्चारण, या टेलीफोनी बाधाओं की अनदेखी करते हुए केवल मॉडल चयन पर ध्यान केंद्रित करती हैं, वे एक ऐसा सिस्टम बना बैठती हैं जो सोच तो सकता है लेकिन फिर भी अप्राकृतिक लगता है या बहुत धीरे-धीरे उत्तर देता है। उपयोगकर्ता पूरे स्टैक का मूल्यांकन समग्र रूप से करते हैं।

गलतफहमी 3: स्पीच-टू-स्पीच मॉडल इस आर्किटेक्चर की आवश्यकता को समाप्त कर देते हैं। स्पीच-टू-स्पीच (S2S) मॉडल जो ऑडियो लेते हैं और ऑडियो ही उत्पन्न करते हैं, वे वास्तविक हैं और यह श्रेणी बढ़ रही है। आज की चुनौती नियंत्रण की है। कई प्रोडक्शन डिप्लॉयमेंट्स को अभी भी पूर्वानुमेय व्यवहार, ऑडिट करने की क्षमता और बिजनेस लॉजिक डालने के लिए स्पष्ट स्थानों की आवश्यकता होती है, जो कि तब आसान होते हैं जब आप स्पष्ट STT, LLM और TTS चरणों को बनाए रखते हैं। इस दृष्टि से, S2S को विशिष्ट कम-लेटेंसी परिदृश्यों के लिए एक पूरक विकल्प के रूप में माना जाना चाहिए, न कि STT + LLM + TTS पाइपलाइन के पूर्ण प्रतिस्थापन के रूप में।

उत्पादन के लिए डिज़ाइन करना: प्रमुख आर्किटेक्चरल निर्णय

एक STT मॉडल, एक LLM और एक TTS आवाज़ चुनना आसान काम है। सबसे कठिन हिस्सा वास्तविक ट्रैफ़िक, रुकावटों, शोरगुल वाले ऑडियो और अस्पष्ट उपयोगकर्ता इरादे के तहत सिस्टम को सही ढंग से संचालित करना है। एआई वॉयस एजेंट डिजाइन करने पर लेख उन सुरक्षा सीमाओं और उपयोग-मामलों के पैटर्न की पड़ताल करता है जो बुनियादी पाइपलाइन के शीर्ष पर स्थित होते हैं।

उत्पादन वॉयस एआई सिस्टम के लिए महत्वपूर्ण आर्किटेक्चरल निर्णय:

• रुकावट से निपटना (Interruption handling): उपयोगकर्ता अक्सर एआई की प्रतिक्रियाओं को बीच वाक्य में ही रोक देते हैं। सिस्टम को VAD के माध्यम से इस रुकावट का पता लगाने, सक्रिय TTS स्ट्रीम को रद्द करने, और अद्यतन संदर्भ के साथ LLM को पुनरारंभ करने की आवश्यकता होती है। यदि यह ऐसा नहीं कर सकता, तो यह तुरंत एक ऐसे बॉट जैसा महसूस होता है जो लोगों के ऊपर बोलता है।

• संदर्भ विंडो प्रबंधन (Context window management): LLM को हर बार बातचीत का पिछला इतिहास प्राप्त होता है। जैसे-जैसे वह इतिहास बढ़ता है, इंफरेंस का समय बढ़ता जाता है। संक्षेपण (Summarization) या स्लाइडिंग-विंडो रणनीतियाँ महत्वपूर्ण जानकारी खोए बिना संदर्भ को सीमित रखती हैं।

• फ़ॉलबैक और एस्केलेशन लॉजिक: प्रोडक्शन सिस्टम को कम-भरोसेमंद STT, आउट-ऑफ-स्कोप अनुरोधों और भावनात्मक एस्केलेशन संकेतों के लिए स्पष्ट व्यवहार की आवश्यकता होती है। इन्हें प्राथमिक घटकों के रूप में मानें, न कि ऐसे व्यवहार के रूप में जिन्हें आप बाद में जोड़ते हैं।

• एज बनाम क्लाउड डिप्लॉयमेंट: क्लाउड एंडपॉइंट पर ऑडियो भेजने से नेटवर्क में देरी होती है। एक सामान्य हाइब्रिड पैटर्न एज पर STT और TTS चलाना है, जबकि लचीलेपन के लिए क्लाउड में LLM इंफरेंस को बनाए रखना है। 

• कोडेक और ऑडियो गुणवत्ता: टेलीफोनी G.711 या Opus जैसे कोडेक्स के साथ ऑडियो को कंप्रेस करती है। कोडेक का चयन TTS आउटपुट की स्पष्टता और STT इनपुट सटीकता को प्रभावित करता है। इस स्तर की उपेक्षा करने से आप प्रोडक्शन में रहस्यमयी सटीकता गिरावट की समस्या से जूझते रहेंगे।

मुख्य निष्कर्ष

रीयल-टाइम वॉयस एआई आर्किटेक्चर के बारे में याद रखने योग्य बातें:

• वॉयस एआई आर्किटेक्चर चार चरणों को जोड़ता है: STT भाषण को टेक्स्ट में बदलता है, LLM एक उत्तर उत्पन्न करता, TTS उस उत्तर को वापस ऑडियो में बदलता है, और टेलीफोनी इसे उपयोगकर्ता तक पहुँचाती है। 

• संवादात्मक महसूस कराने के लिए, कुल वॉयस-टू-वॉयस लेटेंसी को उस सीमा के भीतर रहना चाहिए जो प्राकृतिक बातचीत का समर्थन करती है। 

• LLM इंफरेंस आमतौर पर कुल पाइपलाइन देरी में सबसे बड़ा योगदानकर्ता होता है। 

• प्रतिक्रियाशील वॉयस सिस्टम क्रमिक निष्पादन के बजाय सभी चार स्तरों पर स्ट्रीमिंग और ओवरलैप पर भरोसा करते हैं। 

• STT लेयर में VAD ट्यूनिंग एक ऐसा पहलू है जिस पर आसानी से ध्यान नहीं जाता, लेकिन यह महसूस होने वाली प्रतिक्रिया गति को महत्वपूर्ण रूप से बदल सकता है।

• वास्तविक परिनियोजनों (deployments) को रुकावटों के प्रबंधन, संदर्भ प्रबंधन, फ़ॉलबैक, एस्केलेशन और कोडेक विकल्पों के लिए स्पष्ट डिज़ाइन की आवश्यकता होती है।

• स्पीच-टू-स्पीच मॉडल उपयोगी हो सकते हैं, लेकिन वे अधिकांश उत्पादन आवश्यकताओं के लिए STT + LLM + TTS पाइपलाइन की जगह नहीं लेते हैं। 

चार-घटक वॉयस एआई पाइपलाइन और उसके लेटेंसी बेंचमार्क का त्वरित संदर्भ सारांश।

Smallest.ai के साथ सब कुछ एक साथ लाना

रीयल-टाइम वॉयस एआई में विफलता आमतौर पर अलग से केवल "STT टूटना" या "TTS टूटना" नहीं होती। यह छोटी-छोटी देरी, असंगत व्यवहार और संपूर्ण श्रृंखला में एकीकरण के घर्षण का संयुक्त प्रभाव होता है। जब टीमें कई वेंडर्स को मिलाकर स्टैक तैयार करती हैं, तो उन्हें तालमेल की समस्या का सामना करना पड़ता है: प्रत्येक प्रदाता अपने स्तर को अनुकूलित करता है, और स्तरों के बीच का कनेक्शन उपेक्षित रह जाता है। Smallest.ai को इन स्तरों के बीच एकीकरण की जटिलता को कम करने के लिए डिज़ाइन किया गया है।

यह वॉयस स्टैक के प्रमुख स्तरों के लिए उद्देश्य-निर्मित उत्पाद प्रदान करता है, जिसमें स्ट्रीमिंग स्पीच-टू-टेक्स्ट के लिए Pulse, कम-विलंबता न्यूरल टेक्स्ट-टू-स्पीच के लिए Lightning, और स्वयं एकीकरण प्रबंधित किए बिना एक पूर्ण वॉयस एजेंट में उन घटकों को जोड़ने के लिए Atoms शामिल हैं। उन टीमों के लिए जो कई वॉयस इंफ्रास्ट्रक्चर घटकों को आपस में जोड़े बिना कम-लेटेंसी वॉयस वार्तालाप बनाना चाहती हैं, यह एकीकृत स्टैक इंजीनियरिंग ओवरहेड के एक बड़े हिस्से को हटा देता है। ऊपर वर्णित पाइपलाइन उन्हीं आर्किटेक्चरल सिद्धांतों को दर्शाती है जो प्रोडक्शन वॉयस एआई सिस्टम में उपयोग किए जाते हैं।