क्यों एनवीडिया (Nvidia) जीपीयू रियल-टाइम स्पीच इन्फरेंस (भाषण अनुमान) के साथ संघर्ष करते हैं
रीयल-टाइम स्पीच इन्फरेंस के लिए बेहद कम लेटेंसी (ultra-low latency) की आवश्यकता होती है—कुछ ऐसा जिसके लिए एनवीडिया (Nvidia) जीपीयू नहीं बनाए गए थे। जानें कि क्यों आर्किटेक्चरल सीमाएं परफॉर्मेंस को सीमित करती हैं और कैसे Smallest AI 50ms की बाधा को तोड़ने के लिए विशेष रूप से तैयार किए गए सिस्टम बना रहा है।
रीयल-टाइम स्पीच इन्फ्रेंस आज AI में सबसे अधिक लेटेंसी-सेंसिटिव (विलंबता-संवेदनशील) चुनौतियों में से एक है। चाहे वह कमांड का जवाब देने वाले वॉयस असिस्टेंट हों या कस्टमर कॉल्स को संभालने वाले AI एजेंट्स, कुछ मिलीसेकंड की देरी भी बातचीत के अनुभव को बिगाड़ सकती है।
यूजर्स तुरंत प्रतिक्रिया की उम्मीद करते हैं—200-300 ms से अधिक की कोई भी देरी धीमी महसूस होने लगती है, और वास्तव में स्वाभाविक बातचीत के लिए 50ms से कम की लेटेंसी गोल्ड स्टैंडर्ड (सर्वश्रेष्ठ मानक) है।
समस्या यहाँ है: जबकि एनवीडिया (Nvidia) GPUs AI ट्रेनिंग और बड़े-बैच इन्फ्रेंस पर हावी हैं, वे मौलिक रूप से रीयल-टाइम स्पीच की सिंगल-सैंपल, लो-लेटेंसी मांगों के साथ संघर्ष करते हैं। यह कोई सॉफ्टवेयर ऑप्टिमाइजेशन की समस्या नहीं है, यह एक आर्किटेक्चरल मिसमैच (असंगति) है जो परफॉर्मेंस पर एक कठिन सीमा लगाती है।
वास्तविक दुनिया का प्रभाव: दुनिया का सबसे तेज़ TTS बनाने का हमारा अनुभव
स्मॉलेस्ट एआई (Smallest AI) में, हमने रीयल-टाइम एप्लिकेशन्स के लिए यकीनन दुनिया का सबसे तेज़ टेक्स्ट-टू-स्पीच (TTS) मॉडल बनाया है। हमारा लाइटनिंग वी2 (Lightning V2) मॉडल ~100ms लेटेंसी हासिल करता है और रियल एस्टेट से लेकर इंश्योरेंस कॉल सेंटर्स तक के वर्टिकल्स में पहले से ही प्रोडक्शन में तैनात है। फिर भी इस उपलब्धि के बावजूद, हम एक निराशाजनक बाधा का सामना कर रहे हैं।
प्रोफ़ाइलिंग से पता चलता है कि हम मॉडर्न एनवीडिया GPUs पर सिलिकॉन के पीक परफॉर्मेंस का केवल 50% उपयोग कर रहे हैं। इसे परिप्रेक्ष्य में रखने के लिए: हमारे पूर्ण TTS इन्फ्रेंस के समान FLOP काउंट वाले एक साधारण मैट्रिक्स मल्टिप्लिकेशन भी—जो एनवीडिया के अपने हैंड-ट्यून्ड cuBLAS लाइब्रेरी पर चल रहा है—सैद्धांतिक पीक परफॉर्मेंस के केवल 60% तक ही पहुंच पाता है।
हम हाई-एंड सिलिकॉन के लिए भुगतान कर रहे हैं लेकिन इसका केवल आधा ही प्रभावी ढंग से उपयोग कर पा रहे हैं। यह केवल एक परफॉर्मेंस की समस्या नहीं है- यह एक लागत की समस्या है जो हर प्रोडक्शन डिप्लॉयमेंट को प्रभावित करती है।
मूल कारण: एनवीडिया का आर्किटेक्चर रीयल-टाइम स्पीच के विपरीत क्यों काम करता है
थ्रूपुट के लिए निर्मित, लेटेंसी के लिए नहीं
एनवीडिया GPUs आर्किटेक्चरल चमत्कार हैं जिन्हें एक चीज़ के लिए डिज़ाइन किया गया है: अधिकतम थ्रूपुट। एनवीडिया L40S को लें: 142 स्ट्रीमिंग मल्टीप्रोसेसर (SMs), जिनमें से प्रत्येक में 128 CUDA कोर हैं, जो कुल मिलाकर 18,000 से अधिक कोर हैं जो SIMD तरीके से काम करते हैं। यह डिज़ाइन बड़े, समान वर्कलोड जैसे कि बड़े पैमाने पर मॉडलों को ट्रेन करने या एक साथ सैकड़ों इनपुट्स को प्रोसेस करने में उत्कृष्ट है।
लेकिन रीयल-टाइम स्पीच इन्फ्रेंस इसके विपरीत उपयोग का मामला है: सिंगल सैंपल्स जिन्हें जितनी जल्दी हो सके प्रोसेस करने की आवश्यकता होती है, एक समय में एक लेयर।
मेमोरी लेटेंसी की बाधा (बॉटलनेक)
यहाँ पर मौलिक मिसमैच स्पष्ट हो जाता है। एनवीडिया GPUs पर सामान्य एक्ज़ीक्यूशन फ्लो इस तरह दिखता है:
एक विशिष्ट ऑपरेशन (जैसे, मैट्रिक्स मल्टिप्लिकेशन) के लिए कर्नेल लॉन्च करें
ऑपरेशन को हजारों CUDA कोर में वितरित करें
परिणामों को ग्लोबल DRAM (GPU की मुख्य मेमोरी) में लिखें
अगली लेयर DRAM से रीड करती है और अपना स्वयं का कर्नेल एक्ज़ीक्यूशन शुरू करती है
मॉडल की प्रत्येक लेयर के लिए इसे दोहराएं
सबसे बड़ी समस्या: ग्लोबल मेमोरी एक्सेस में 500-800 क्लॉक साइकिल्स लगते हैं। रीयल-टाइम इन्फ्रेंस के लिए जहां माइक्रोसेकंड मायने रखते हैं, यह प्रत्येक सिंगल लेयर के बीच भारी ओवरहेड पैदा करता है।
लापता लिंक: कोई आंतरिक संचार नहीं
नए AI एक्सेलरेटर के विपरीत, एनवीडिया GPUs में नेटवर्क-ऑन-चिप (NoC)—यानी समर्पित इंटरकनेक्ट्स की कमी होती है जो विभिन्न SMs को सीधे संवाद करने की अनुमति देते हैं। डेटा शेयरिंग के लिए SMs एक-दूसरे से पूरी तरह से अलग होते हैं। यदि एक SM एक लेयर की गणना करता है और दूसरे को अगली लेयर को एक्ज़ीक्यूट करने की आवश्यकता होती है, तो एकमात्र रास्ता महंगे ग्लोबल DRAM से होकर जाता है।
यह आर्किटेक्चरल सीमा लेयर एक्ज़ीक्यूशन की कुशल पाइपलाइनिंग को रोकती है और मेमोरी के लगातार चक्कर लगाने के लिए मजबूर करती है।
महंगे अस्थायी समाधान (बैंड-एड्स) समस्या को ठीक नहीं करते
एनवीडिया इनमें से कुछ समस्याओं का समाधान इनके माध्यम से करता है:
तेज़ एक्सेस के लिए हाई बैंडविड्थ मेमोरी (HBM) (लेकिन काफी अधिक महंगी)
लेटेंसी को छिपाने के लिए वार्प शेड्यूलर और बड़े पैमाने पर पैरेललिज्म
कई सैंपल्स में लागत को अमोर्टाइज़ (विभाजित) करने के लिए बैचिंग
ये तकनीकें थ्रूपुट परिदृश्यों के लिए अच्छी तरह से काम करती हैं लेकिन केवल लेटेंसी की समस्या को छिपाती हैं—उसे समाप्त नहीं करती हैं। सिंगल-सैंपल इन्फ्रेंस के लिए, आप अभी भी थ्रूपुट का कोई लाभ पाए बिना पूरी लेटेंसी लागत का भुगतान करते हैं।
कठिन सीमा: सटीक ऑप्टिमाइजेशन भी पर्याप्त नहीं है
सावधानीपूर्वक कर्नेल फ्यूजन और मेमोरी ऑप्टिमाइजेशन के माध्यम से, हमारा अनुमान है कि हम अपनी TTS लेटेंसी को ~25ms और कम कर सकते हैं। यह महत्वपूर्ण है, लेकिन यह अभी भी हमें उस 50ms से कम की सीमा से काफी ऊपर रखता है जिसकी मांग अगली पीढ़ी के रीयल-टाइम सिस्टम करते हैं।
इससे भी महत्वपूर्ण बात यह है कि यह आर्किटेक्चरल सीमा को दर्शाता है। सॉफ्टवेयर ऑप्टिमाइजेशन की कोई भी मात्रा एनवीडिया के डिज़ाइन में मौलिक मेमोरी और कम्युनिकेशन बाधाओं को दूर नहीं कर सकती है।
मल्टी-चिप इन्फ्रेंस मौजूदा मेमोरी लेटेंसी समस्याओं के ऊपर कम्युनिकेशन ओवरहेड जोड़कर चीजों को केवल बदतर बनाता है।
आर्थिक वास्तविकता
इस अक्षमता का सीधा प्रभाव लागत पर पड़ता है:
आप हाई-एंड सिलिकॉन के लिए प्रीमियम कीमतों का भुगतान कर रहे हैं
आप इसकी कंप्यूटेशनल क्षमता का केवल ~50% उपयोग कर रहे हैं
मिनट-प्रति-डॉलर दक्षता को महत्वपूर्ण नुकसान होता है
स्केलिंग के लिए अधिक महंगे हार्डवेयर की आवश्यकता होती है जिसका अभी भी कम उपयोग हो पाता है
हमारे आक्रामक ऑप्टिमाइजेशन के बावजूद, कई रीयल-टाइम स्पीच एप्लिकेशन्स के लिए बुनियादी अर्थशास्त्र काम नहीं करता है।
उद्योग के लिए इसका क्या अर्थ है
इसके प्रभाव केवल TTS मॉडलों तक ही सीमित नहीं हैं:
वॉयस असिस्टेंट रिस्पॉन्स टाइम (प्रतिक्रिया समय) के साथ संघर्ष कर रहे हैं
इंटरैक्टिव AI एजेंट्स बातचीत में अस्वाभाविक अंतराल पैदा कर रहे हैं
रीयल-टाइम ट्रांसलेशन सिस्टम लेटेंसी की बाधाओं से टकरा रहे हैं
एम्बेडेड वॉयस एप्लिकेशन्स के लिए महंगे क्लाउड इंफ्रास्ट्रक्चर की आवश्यकता हो रही है
हार्डवेयर-सॉफ्टवेयर का यह मिसमैच AI एप्लिकेशन्स की एक पूरी श्रेणी को पीछे धकेल रहा है।
बाधा को तोड़ना: आगे क्या है
इसका समाधान मौजूदा हार्डवेयर पर बेहतर सॉफ्टवेयर ऑप्टिमाइजेशन नहीं है—यह रीयल-टाइम, सिंगल-सैंपल इन्फ्रेंस वर्कलोड के लिए हार्डवेयर आर्किटेक्चर पर पूरी तरह से नए सिरे से विचार करना है।
स्मॉलेस्ट एआई में, हम इन मौलिक समस्याओं को हल करने के लिए पूरी तरह से शुरुआत से डिज़ाइन किया गया एक अगली पीढ़ी का प्लेटफॉर्म बना रहे हैं:
लो-लेटेंसी, सिंगल-बैच इन्फ्रेंस के लिए विशेष रूप से निर्मित
आर्किटेक्चरल इनोवेशन के माध्यम से मेमोरी बाधाओं को समाप्त करता है
वास्तविक दुनिया के परफॉर्मेंस मेट्रिक्स को लक्षित करता है: लेटेंसी, लागत-दक्षता, और परिनियोजन क्षमता (डिप्लॉयबिलिटी)
एम्बेडेड और ऑन-प्रिमाइसेस डिप्लॉयमेंट के लिए डिज़ाइन किया गया है जहाँ गति और लागत सबसे अधिक मायने रखती है
हमारा लक्ष्य: महंगे HBM पर निर्भर हुए बिना या रीयल-टाइम वर्कलोड को अनुपयुक्त हार्डवेयर पर मजबूर किए बिना, वर्तमान GPU-आधारित प्रणालियों की तुलना में एक-तिहाई लागत पर 50ms से कम लेटेंसी प्रदान करना।
यह सैद्धांतिक नहीं है—हमने इस प्लेटफॉर्म का निर्माण शुरू कर दिया है, और शुरुआती परिणाम उत्साहजनक हैं। रीयल-टाइम AI का भविष्य दोबारा तैयार किए गए ट्रेनिंग हार्डवेयर पर नहीं, बल्कि विशेष रूप से उन लेटेंसी-क्रिटिकल एप्लिकेशन्स के लिए डिज़ाइन किए गए सिस्टम पर बनाया जाएगा जिनका यूजर्स वास्तव में अनुभव करते हैं।
