अनुसंधान
वॉयस एआई (Voice AI) में हालिया प्रगति पाइपलाइन आर्किटेक्चर को बड़े पैमाने पर ले जाने और स्पीच-टू-स्पीच मॉडलों को जोड़ने से प्रेरित रही है, जिससे व्यावसायिक रूप से उपयोगी सिस्टम तो बने हैं लेकिन बुनियादी सीमाएं अनसुलझी रह गई हैं। ये दृष्टिकोण टेक्स्ट-केंद्रित प्रोसेसिंग की क्रमिक (sequential), टर्न-बेस्ड, हाफ-डुप्लेक्स बाधाओं को विरासत में प्राप्त करते हैं, और मानव बातचीत की समवर्ती (concurrent) प्रकृति को दोहरा नहीं सकते हैं। इस शोध पत्र में, हमारा तर्क है कि रीयल-टाइम मौखिक संवाद में ट्यूरिंग टेस्ट पास करने के लिए केवल बड़े पैमाने (scale) की ही नहीं, बल्कि संरचना (structure) और पैमाने दोनों की एक साथ आवश्यकता है। हम हाइड्रा (Hydra) का प्रस्ताव करते हैं, जो एक लेटेंट-स्पेस वर्ल्ड मॉडल के इर्द-गिर्द बनाया गया एक एसिंक्रोनस वॉयस आर्किटेक्चर है, जहां सुनना, सोचना, बोलना और टूल-कॉलिंग एक साझा संपीड़ित (compressed) प्रतिनिधित्व पर स्वतंत्र समवर्ती प्रक्रियाओं के रूप में काम करते हैं। संज्ञानात्मक विज्ञान और तंत्रिका विज्ञान (neuroscience) के साक्ष्यों का हवाला देते हुए, हमारा तर्क है कि वॉयस इंटेलिजेंस को केवल पैरामीटर संख्या के बजाय एसिंक्रोनस प्रोसेसिंग, मेमोरी से इंटेलिजेंस को अलग करना, और इन्फ्रेंस-टाइम अनुकूलन जैसे संरचनात्मक गुणों द्वारा बेहतर ढंग से परिभाषित किया जाता है। हाइड्रा पहली बार मानव बातचीत के संरचनात्मक रूप से समान बातचीत की गतिशीलता हासिल करता है, जिसमें टोकन-आधारित मॉडलों की तुलना में 100-1000 गुना अधिक पैरामीटर दक्षता प्राप्त होती है, और यह एक नई क्षमता को सक्षम बनाता है जिसे हम आर्टिफिशियल स्पेशल इंटेलिजेंस (Artificial Special Intelligence) कहते हैं: कॉम्पैक्ट रीजनिंग कोर जो उपयोग के माध्यम से परिनियोजन (deployment) डोमेन के लिए तेजी से खुद को विशेष बना लेते हैं।
हमारे शोध के विषय
कंप्यूट-मेमोरी सेपरेशन
एलएलएम (LLMs) बड़े होने के साथ-साथ अधिक जानकारी याद रखते हैं। इससे बुद्धिमत्ता का भ्रम पैदा होता है क्योंकि ओवरफिटिंग के माध्यम से मूल्यांकन को खेल बना दिया जाता है। हम एलएलएम के आकार से <100 गुना छोटे मॉडल प्रशिक्षित करते हैं और उन्हें असीमित मेमोरी के साथ पूरक करते हैं।
असिंक्रोनस सोच (Asynchronous Thinking)
मनुष्य सोचने या उत्तर देने की प्रक्रिया शुरू करने के लिए संवेदी इनपुट (sensory inputs) द्वारा पूरी जानकारी मिलने का इंतजार नहीं करते हैं। हालांकि, LLM पूरी जानकारी पर काम करते हैं जिसके कारण आउटपुट धीमा होता है और कंप्यूटिंग का अक्षम उपयोग होता है। अतुल्यकालिक सोच (Asynchronous thinking) पूरी जानकारी का इंतजार किए बिना स्ट्रीमिंग इनपुट्स पर डिकोडिंग की सुविधा देती है।
बुद्धि का मूल्यांकन
एजेंटों की बुद्धिमत्ता सीधे तौर पर उनके द्वारा उत्पन्न जीडीपी (GDP) के आनुपातिक होती है। हम स्थिर, शैक्षणिक, ट्रेन-टाइम मूल्यांकनों की दुनिया से आगे बढ़कर गतिशील, वास्तविक दुनिया के, टेस्ट-टाइम मूल्यांकनों की ओर बढ़ रहे हैं। यह आसान नहीं है क्योंकि इनफरेंस (अनुमान) के दौरान डिस्ट्रीब्यूशन शिफ्ट (वितरण में बदलाव) होता है।
सतत सीखना
इंटेलिजेंस और मेमोरी लेयर्स को लगातार सामने मौजूद काम के लिए प्रासंगिक बने रहने की आवश्यकता होती है। ट्रेन टाइम बैक प्रोपेगेशन में समय लगता है, और ह्यूमन-इन-द-लूप आरएल (RL) पूर्वाग्रह पैदा करता है। इसलिए इंफ्रेंस (अनुमान लगाने) के दौरान लगातार सीखते रहना महत्वपूर्ण है, जहां किसी के पास सिम्युलेटेड वातावरण में एक्सप्लोरेशन (अन्वेषण) करने की छूट नहीं होती है।
मोडैलिटी फ्यूजन
बच्चे लिखना सीखने से पहले बोलना सीखते हैं। वाणी (भाषण) और पाठ को स्वतंत्र रूप से सीखा जा सकता है। इसलिए वाणी और पाठ के बीच सीखा गया मैपिंग एक तरह से गैर-वैज्ञानिक है, जिससे इन तौर-तरीकों को आपस में मिलाना एक कठिन समस्या बन जाता है। इसके अतिरिक्त, ऑडियो एक सघन सिग्नल होने के कारण इसे टोकन देना और पाठ के साथ मैप करना आसान नहीं है।
शीर्ष अनुसंधान