इस प्रयोग को आजमाएँ। किसी को असली इंसान की रिकॉर्डिंग के साथ आधुनिक AI आवाज़ की दस सेकंड की क्लिप सुनाएँ, और उनसे पूछें कि कौन सी आवाज़ किसकी है। अधिकांश लोग गलत अनुमान लगाते हैं। आवाज़ें अब इतनी बेहतरीन हो चुकी हैं।
फिर उसी व्यक्ति को उस AI के साथ 90 सेकंड के लिए सीधे, आमने-सामने बातचीत में शामिल करें।
उन्हें पता चल जाएगा। हर बार।
आवाज़ की वजह से नहीं, आवाज़ तो लगभग एकदम सही है। कुछ और ही है जो इसका पर्दाफाश कर देता है: हर जवाब से पहले आधी धड़कन जैसा सन्नाटा, जब आप सोचने के लिए रुकते हैं तो उसका आपकी बात को काटकर बोलना, जब आप कुछ समझा रहे होते हैं तो उसका कभी भी "मं-हूँ (mhm)" न कहना। आवाज़ इंसानी जैसी लगती है। बातचीत कभी वैसी नहीं लगती।
यह पोस्ट इसी के बारे में है कि ऐसा क्यों है। और इसका संक्षिप्त जवाब है: यह कोई ट्यूनिंग की समस्या, प्रॉम्प्ट की समस्या, या "अगले मॉडल का इंतज़ार करने" की समस्या नहीं है। यह आर्किटेक्चर (संरचना) की समस्या है। आज प्रोडक्शन में इस्तेमाल होने वाला लगभग हर वॉइस एजेंट एक ऐसे डिज़ाइन पर बनाया गया है जो संरचनात्मक रूप से इंसानों की तरह बातचीत नहीं कर सकता, और उस डिज़ाइन को समझना ही यह समझने की कुंजी है कि वॉइस AI आगे कहाँ जा रहा है।
एक त्वरित मानचित्र: बात करने वाली मशीनों की चार पीढ़ियाँ
वॉइस AI पिछले तीस वर्षों से चार अलग-अलग पीढ़ियों में विकसित हो रहा है:
पीढ़ी | दौर | यह क्या था | आप इसे इस रूप में जानते हैं |
|---|---|---|---|
वॉइस 1.0 | 1990 का दशक–2010 का दशक | टच-टोन मेनू + रिकॉर्ड किए गए संकेत (प्रॉम्प्ट्स) | "बिलिंग के लिए 1 दबाएं" |
वॉइस 2.0 | 2010 का दशक | कीवर्ड-मैचिंग ML (इंटेंट्स और स्लॉट्स) | शुरुआती सिरी, अलेक्सा स्किल्स |
वॉइस 3.0 | 2023–आज तक | जेनरेटिव AI पाइपलाइन्स (द कैस्केड) | Vapi, Retell, Bland, smallest.ai Atoms |
वॉइस 4.0 | उभरता हुआ | स्पीच-नेविट, फुल-डुप्लेक्स मॉडल्स | Kyutai का Moshi, smallest.ai का Hydra (विकास के अधीन) |
वॉइस 1.0 खत्म हो चुका है लेकिन पूरी तरह दफन नहीं हुआ: यह अभी भी दुनिया की टेलीफोन लाइनों के एक चौंकाने वाले हिस्से पर जवाब देता है। वॉइस 2.0 ने हमें ऐसे असिस्टेंट दिए जो टाइमर सेट कर सकते थे लेकिन आपके द्वारा कुछ अलग तरह से बोलते ही वे काम करना बंद कर देते थे। वॉइस 3.0 वास्तविक छलांग है: ऐसे एजेंट जो स्वाभाविक लगते हैं, कई बार बातचीत का सिलसिला बनाए रखते हैं और वास्तविक काम संभालते हैं। लोग हर दिन बिना यह जाने कि वे सॉफ्टवेयर से बात कर रहे हैं, वॉइस 3.0 एजेंटों के साथ 30 मिनट की कॉल करते हैं।
और फिर भी: 90 सेकंड की वास्तविक आमने-सामने की बातचीत होती है, और भ्रम टूट जाता है। यह देखने के लिए कि ऐसा क्यों होता है, आपको यह देखना होगा कि वास्तव में वॉइस 3.0 अंदरूनी तौर पर कैसे काम करता है।
द कैस्केड: एक ही ढांचे के भीतर तीन मॉडल
यदि आपने सिरी, अलेक्सा, गूगल असिस्टेंट या प्रोडक्शन में मौजूद लगभग 95% वॉइस एजेंटों से बात की है, तो आपने एक कैस्केड से बात की है: तीन अलग-अलग AI मॉडल जो एक-दूसरे को नोट्स भेजते हैं:
स्पीच-टू-टेक्स्ट (ASR) आपके ऑडियो को सुनता है और उसे लिखे हुए शब्दों में बदलता है।
एक लार्ज लैंग्वेज मॉडल (LLM) उन शब्दों को पढ़ता है और टेक्स्ट के रूप में एक उत्तर लिखता है।
टेक्स्ट-टू-स्पीच (TTS) उस लिखे गए उत्तर को बोलकर सुनाता है।
बस यही है। आपके सामने आने वाले लगभग हर "AI फोन एजेंट" के पीछे यही आर्किटेक्चर है। आपकी आवाज़ एक ट्रांसक्रिप्ट (लिखावट) बन जाती है, ट्रांसक्रिप्ट एक उत्तर बन जाती है, और उत्तर एक आवाज़ बन जाता है। यह एक रिले रेस है, और इसका बेटन (डंडा) टेक्स्ट है।
कैस्केड इंजीनियरिंग का एक बेहतरीन उदाहरण है, और यह जिस काम के लिए बना है, उसके लिए काफी अच्छा काम करता है। लेकिन इसके फेल होने के तीन संरचनात्मक तरीके हैं - और यहाँ "संरचनात्मक" मुख्य शब्द है। आप कैस्केड के भीतर रहकर इंजीनियरिंग के जरिए इन समस्याओं को दूर नहीं कर सकते, क्योंकि वे खुद कैस्केड की ही देन हैं।
विफलता का तरीका 1: लेटेंसी (देरी) की कीमत
तीन मॉडलों का मतलब है तीन बार इंतजार, जो शुरू से अंत तक एक के बाद एक जुड़ता जाता है। सिस्टम को स्पीच रिकॉग्नाइज़र द्वारा यह तय करने का इंतज़ार करना पड़ता है कि आपने बात पूरी कर ली है, फिर लैंग्वेज मॉडल के जनरेट शुरू करने का इंतज़ार करना पड़ता है, फिर स्पीच सिंथेसाइज़र द्वारा अपनी पहली आवाज़ बनाने का इंतज़ार करना पड़ता है: और यह सब सामान्य नेटवर्क की देरी के अतिरिक्त होता है।
यहाँ तक कि सबसे तेज़, सबसे बेहतरीन तरीके से ऑप्टिमाइज़्ड कैस्केड को भी दोनों तरफ की बातचीत पूरी करने में लगभग 800 मिलीसेकंड से 1.2 सेकंड का समय लगता है। उद्योग का औसत लगभग पूरे दो सेकंड के करीब है।
अब इसकी तुलना इंसानी बातचीत से करें, जो व्यावहारिक रूप से शून्य देरी पर चलती है, कभी-कभी तो शून्य से भी कम समय में। यह असंभव लग सकता है जब तक कि आप इस बात पर ध्यान न दें कि आप हर बातचीत में क्या करते हैं: जब दूसरा व्यक्ति बात कर रहा होता है, आप उसी समय अपनी प्रतिक्रिया की योजना बनाना शुरू कर देते हैं। जब तक वे बात पूरी करते हैं, आप तैयार होते हैं। इंसान आमतौर पर बोलने वाले के खत्म करने के 200 मिलीसेकंड के भीतर जवाब दे देते हैं, और अक्सर तो उनकी बात खत्म होने से पहले ही बोलना शुरू कर देते हैं।
परिभाषा के अनुसार, एक कैस्केड ऐसा नहीं कर सकता। यह तब तक सोचना शुरू नहीं कर सकता जब तक कि सुनने का काम पूरा न हो जाए, क्योंकि सोचने के चरण के लिए पूरी ट्रांसक्रिप्ट की आवश्यकता होती है। हर एक मोड़ पर देरी की कीमत चुकानी पड़ती है। आप इसे स्मार्ट स्ट्रीमिंग के साथ छोटा कर सकते हैं; लेकिन आप इसे कभी पूरी तरह खत्म नहीं कर सकते। और आपका दिमाग, जो हजारों वर्षों की मौखिक बातचीत से अभ्यस्त है, सचेत रूप से जानने से बहुत पहले ही उस बार-बार आने वाले आधे सेकंड के सन्नाटे को गलत मान लेता है।
विफलता का तरीका 2: टेक्स्ट की सीमा (बॉटलनेक)
यह समस्या अधिक गहरी है, और यह समस्या की वास्तविक जड़ है।
जैसे ही आपकी बोली गई बात एक ट्रांसक्रिप्ट बनती है, वह सब कुछ जो एक शब्द नहीं था, फेंक दिया जाता है। आपका लहजा, आपका ज़ोर। "ठीक है" कहने से पहले की हिचकिचाहट, "बहुत बढ़िया, मुझे पसंद आया" में छिपा व्यंग्य, आह भरना, तात्कालिकता, यह तथ्य कि अंत में आपकी आवाज़ इसलिए तेज़ हुई क्योंकि आपकी बात वास्तव में पूरी नहीं हुई थी।
लैंग्वेज मॉडल यानी इस पूरी प्रक्रिया के "दिमाग" को इसमें से कुछ भी नहीं मिलता। यह एक ऐसे प्रदर्शन की सपाट ट्रांसक्रिप्ट को पढ़ता है जिसे उसने कभी सुना ही नहीं।
ज़रा सोचिए कि किसी वाक्य का कितना अर्थ शब्दों के बाहर छिपा होता है। उत्साह से बोला गया "मैं ठीक हूँ" और दाँत भींचकर बोला गया "मैं ठीक हूँ" बिल्कुल विपरीत कथन हैं जिनकी ट्रांसक्रिप्ट एक जैसी ही होती है। एक इंसान तुरंत इस अंतर को सुन लेता है। एक कैस्केड ऐसा नहीं कर सकता: इसलिए नहीं कि मॉडल पर्याप्त स्मार्ट नहीं है, बल्कि इसलिए कि जानकारी को एक कदम पहले ही हटा दिया गया था। ऑडियो एक निरंतर संकेत (सिग्नल) है जो प्रति सेकंड हजारों मापों को ले जाता है; टेक्स्ट अलग-अलग शब्दों का एक छोटा सा समूह है।
एक को दूसरे में समेटना एक 3D दृश्य को 2D फोटो में बदलने जैसा है। आप जिस गहराई को छोड़ देते हैं, उसके बाद का कोई भी इंटेलिजेंस उसे दोबारा नहीं बना सकता।
और त्रुटियाँ केवल जमा ही नहीं होतीं: वे कैस्केड होती हैं (आर्किटेक्चर का नाम इसके फेल होने के तरीके पर ही रखा गया है, जो बिल्कुल सही है)। यदि स्पीच रिकॉग्नाइज़र गलती से "चौथा ग्रह (fourth planet)" को "तीसरा ग्रह (third planet)" सुन लेता है, तो लैंग्वेज मॉडल मंगल के बजाय पृथ्वी के बारे में विश्वास के साथ उत्तर देता है। उसके पास यह जानने का कोई तरीका नहीं है कि ऑडियो ने कुछ अलग कहा था; ट्रांसक्रिप्ट ही उसका पूरा ब्रह्मांड है। यहाँ एक आजमाया हुआ पार्टी ट्रिक है: बड़े "ऑडियो-इन, ऑडियो-आउट" रीयल-टाइम APIs में से किसी एक से पूछें "क्या आपको लगता है कि मैं इस समय कम पिच में बात कर रहा हूँ?" और देखें कि वह कैसे स्वीकार करता है कि वह वास्तव में पिच नहीं सुन सकता। मार्केटिंग कहती है कि सिस्टम आपको सुनता है। आर्किटेक्चर कहता है कि वह आपको पढ़ता है।
विफलता का तरीका 3: एक समय में एक ही चीज़
तीसरी विफलता लय के बारे में है। एक कैस्केडेड एजेंट पूरी तरह से एक अनुक्रमिक (सीक्वेंशियल) मशीन है: यह सुनता है, फिर सोचता है, फिर बोलता है। कभी भी दो काम एक साथ नहीं करता।
इंसान इन तीनों को लगातार समानांतर रूप से चलाते हैं। अपना जवाब तैयार करते समय आप सुनते भी हैं। जब आपके पास पहले से ही उत्तर होता है तो आप बीच में टोकते हैं। आप यह संकेत देने के लिए "मं-हूँ," "सही है," "आगे कहें" बुदबुदाते हैं कि आप बात समझ रहे हैं, जिसे भाषाविद् बातचीत को अपने हाथ में लिए बिना बैक-चैनलिंग करना कहते हैं। आप एक ठहराव महसूस करते हैं और किसी तरह जानते हैं कि यह "सोचने" का ठहराव है या "आपकी बारी" का ठहराव है।
आज कोई भी प्रोडक्शन वॉइस एजेंट इनमें से कुछ भी मूल रूप से नहीं करता है। इसके बजाय वे जो करते हैं वह एक साधारण तरकीब के साथ इसका दिखावा करते हैं जिसे वॉइस एक्टिविटी डिटेक्शन कहा जाता है: मूल रूप से स्टॉपवॉच के साथ एक वॉल्यूम मीटर। आवाज़ का पता चला? उपयोगकर्ता बात कर रहा है; एजेंट चुप हो जाता है। काफी देर तक सन्नाटा रहा? उपयोगकर्ता का काम पूरा हो गया होगा; एजेंट बात करता है।
अगर यह सुनने में कमज़ोर लगता है, तो यह है भी। जिस किसी ने भी वॉइस एजेंट को कॉल किया है, उसने एक ही कॉल के भीतर विफलता के दोनों तरीकों को महसूस किया है: विचार जुटाने के लिए वाक्य के बीच में रुकें और एजेंट बीच में आ जाता है, यह मानकर कि आपने बात पूरी कर ली है। जब वह अपनी बात कह रहा हो तो बीच में अपनी बात रखने की कोशिश करें और वह आपकी बात सुने बिना आगे बढ़ता रहता है: क्योंकि जब वह बोल रहा होता है, तो वह सुन नहीं रहा होता है। स्टॉपवॉच ह्यूरिस्टिक बातचीत के सबसे मानवीय कौशल - यह जानना कि किसकी बारी है - को एक ऑडियो-इंजीनियरिंग समस्या के रूप में देखता है। यह वैसी समस्या नहीं है। यह समझने की समस्या है।
यह है 90 सेकंड का टेस्ट
इन तीनों विफलताओं को एक साथ मिला दें और आपको वह घटना मिलेगी जिससे हमने शुरुआत की थी।
एक छोटी क्लिप केवल आवाज़ का परीक्षण करती है - और वॉइस 3.0 की आवाज़ें शानदार होती हैं, जो आम तौर पर स्क्रिप्ट पढ़ रहे किसी इंसान से अलग नहीं की जा सकतीं। लेकिन एक लाइव बातचीत बातचीत के विज्ञान (फिजिक्स) का परीक्षण करती है: प्रतिक्रिया का समय, बीच में टोकने को संभालना, अपनी बारी लेना, धीमी आवाज़ में दी गई पावती, यह अहसास कि कोई वास्तव में आपके लहजे को समझ रहा है, न कि केवल आपके शब्दों को। ये ठीक वही तीन चीजें हैं जो कैस्केड संरचनात्मक रूप से प्रदान नहीं कर सकता।
यही कारण है कि डेमो इंसानी जैसा लगता है और उसका उपयोग रोबोटिक महसूस होता है। अभिव्यक्ति की समस्या को तो हल कर लिया गया। बातचीत की सहजता (इंटरएक्टिविटी) को नहीं किया जा सका। छोटी क्लिप लगभग सभी को बेवकूफ बना देती हैं; लेकिन 90 सेकंड की वास्तविक आमने-सामने की बातचीत किसी को बेवकूफ नहीं बना पाती।
कैस्केड के पक्ष में
यहाँ एक मोड़ है: इस सब का मतलब यह नहीं है कि वॉइस 3.0 एक विफलता है। कैस्केड अगले कम से कम 18-24 महीनों तक दुनिया के अधिकांश प्रोडक्शन वॉइस-AI ट्रैफ़िक को संभालेगा, जिसके तीन अच्छे कारण हैं।
यह काम के लिए काफी अच्छा है। अपॉइंटमेंट बुक करना, सपोर्ट कॉल्स को रूट करना, डिलीवरी की पुष्टि करना, आउटबाउंड रिमाइंडर्स - इन वर्कफ़्लोज़ को 200ms से कम की त्वरित बातचीत की आवश्यकता नहीं होती है। उन्हें एक सक्षम एजेंट की आवश्यकता होती है जो बिना किसी इंसान के 80% कॉल्स को हल कर दे। वॉइस 3.0 आज वह काम करता है।
यह आर्थिक रूप से व्यावहारिक है। कैस्केडेड मॉडल बड़े पैमाने पर चलाने में सस्ते होते हैं - एक अच्छी तरह से डिज़ाइन किया गया प्लेटफ़ॉर्म लगभग एक सेंट में एक मिनट की बातचीत चला सकता है, जो टेलीकॉम के स्तर पर वॉइस AI को व्यावहारिक बनाता है।
इसका आसान दिखने वाला बुनियादी ढाँचा ही इस प्रोडक्ट का मुख्य हिस्सा है। इको कैंसिलेशन, टेलीफ़ोनी इंटीग्रेशन, टूल कॉलिंग, फेलओवर, कॉल राउटिंग - इसमें से कोई भी मॉडल की समस्या नहीं है, यह सब कठिन है, और वॉइस 3.0 प्लेटफ़ॉर्म ने इसे सही करने में दो साल बिताए हैं। आगे जो कुछ भी आएगा उसे एक वास्तविक उत्पाद के रूप में पेश करने के लिए उसी बुनियादी ढाँचे की आवश्यकता होगी।
इसलिए ईमानदारी से समझा जाए तो बात यह नहीं है कि "कैस्केड खत्म हो गया है।" बल्कि यह है कि "कैस्केड वर्तमान है, और इसकी ये तीन कमियाँ आगे बनने वाली चीज़ों के लिए एक ब्लूप्रिंट हैं।"
आगे क्या आने वाला है
यदि विफलताएँ संरचनात्मक हैं, तो इसका समाधान एक बेहतर कैस्केड नहीं हो सकता: एक तेज़ ट्रांसक्राइबर या एक होशियार भाषा मॉडल केवल उसी दायरे को थोड़ा और चमका देता है। इसका समाधान कैस्केड को पूरी तरह से समाप्त करना है: एक एकल मॉडल जो ऑडियो लेता है और ऑडियो ही उत्पन्न करता है, जिसमें भाषा मॉडल की तर्क क्षमता वैसी ही बनी रहे लेकिन बीच में कोई टेक्स्ट सिग्नल को नष्ट न करे - एक ऐसा मॉडल जो आपकी तरह ही एक ही समय में सुन सके, सोच सके और बोल सके।
यह वॉइस 4.0 है, और यहीं पर अब वॉइस AI का पूरा शोध क्षेत्र केंद्रित है - Kyutai के Moshi जैसे शुरुआती सिस्टम पहले ही लगभग इंसानी गति से फुल-डुप्लेक्स बातचीत का प्रदर्शन कर चुके हैं, और अगली पीढ़ी के आर्किटेक्चर (जिसमें smallest.ai पर Hydra पर हमारा अपना काम शामिल है) इसी पर बनाए जा रहे हैं। यह कैसे काम करता है: स्पीच-नेविट मॉडल, फुल-डुप्लेक्स ऑडियो स्ट्रीम, और मशीनें जो बातचीत के भौतिकी को सीखती हैं, यह भाग 2 का विषय है।
अभी के लिए, निष्कर्ष सीधा है: आज आप जिस भी वॉइस एजेंट से बात करते हैं, वह टेक्स्ट को बेटन के रूप में इस्तेमाल करने वाली एक रिले रेस है। अगली पीढ़ी उस बेटन को दूर फेंक देती है।
कन्वर्सेशनल एआई (Conversational AI) क्या है?
एक एआई (AI) वॉयस एजेंट वास्तव में कैसे काम करता है?
एआई वॉयस कॉल आवाज़ वास्तविक होने पर भी रोबोटिक क्यों लगती हैं?
आप एआई (AI) आवाज़ को अधिक मानवीय कैसे बना सकते हैं?
क्या AI वॉयस एजेंट कॉल सेंटर एजेंटों की जगह ले लेंगे?
