मुख्य विशेषताएं

• NVIDIA L40S की तुलना में 4 गुना कम ऑन-प्रिमाइसेस (on-prem) इन्फ्रेंस लागत

• समान सिस्टम लागत पर लगभग 3.6 गुना अधिक प्रभावी कंप्यूट थ्रूपुट, जिससे लगभग 4 गुना अधिक कनक्रेन्सी (एक साथ काम करने की क्षमता) संभव होती है

• 95%+ लेयर्स बिना किसी मापने योग्य ऑडियो गिरावट के LoFi कम्प्यूटेशनल फिडेलिटी में चल रही हैं

• 80%+ मॉडल BlockFloat8 (BFP8) में डिप्लॉय किया गया है

• BFP8 के माध्यम से मॉडल के आकार में लगभग 2 गुना कमी

• आक्रामक न्यूमेरिकल ऑप्टिमाइजेशन (numerical optimization) के बावजूद शून्य सुनाई देने वाले आर्टिफैक्ट्स (audible artifacts)

• Lightning V2 प्रोडक्शन ऑडियो क्वालिटी पर कम्प्यूटेशनल फिडेलिटी और BlockFloat8 को कंबाइन करने वाला दुनिया का पहला TTS मॉडल है

टेक्स्ट-टू-स्पीच, LLMs या इमेज मॉडल्स की तुलना में संख्यात्मक रूप से अधिक नाजुक (Fragile) क्यों है

टेक्स्ट-टू-स्पीच बुनियादी तौर पर LLMs की तुलना में संख्यात्मक रूप से अधिक नाजुक है क्योंकि यह डिस्क्रीट टोकन नहीं, बल्कि एक सतत तरंग (continuous waveform) उत्पन्न करता है। लैंग्वेज मॉडल्स में, छोटी क्वांटाइजेशन त्रुटियां संभावना वितरण (probability distributions) को बाधित करती हैं — अगला टोकन बदल सकता है, फिर भी टोकन सीमाओं पर प्राकृतिक रीसेट बिंदुओं के कारण आउटपुट अक्सर सुसंगत रहता है। हालांकि, TTS में, प्रत्येक संख्यात्मक मान सीधे सुनाई देने वाले सिग्नल की ऊर्जा में योगदान देता है। त्रुटि को सोखने के लिए कोई सीमा नहीं है। एक छोटा सा व्यवधान केवल संभावनाओं को नहीं बदलता — यह फेज़ (phase), हार्मोनिक संरचना और वेवफॉर्म की निरंतरता को बदल देता है। जो बात किसी LLM में सांख्यिकीय रूप से मामूली होती है, वह ऑडियो में प्रत्यक्ष रूप से स्पष्ट हो सकती है।

भाषण मिलीसेकंड के भीतर एक विस्तृत गतिशील रेंज (dynamic range) में भी फैला होता है — कम-ऊर्जा वाले फ्रिकेटिव्स (fricatives) से लेकर उच्च-ऊर्जा वाले स्वरों और तीव्र ट्रांजिएंट्स तक। जब परिशुद्धता कम हो जाती है (उदाहरण के लिए, BlockFloat8 या LoFi कंप्यूट के साथ), तो छोटे संख्यात्मक विचलन कम-ऊर्जा वाले फोनेम्स (phonemes) को नष्ट कर सकते हैं, बैकग्राउंड हिस (background hiss) ला सकते हैं, टिम्बर (timbre) को विकृत कर सकते हैं, या पिच की अस्थिरता का कारण बन सकते हैं। क्वांटाइजेशन त्रुटि का औसत नहीं निकाला जा सकता; यह संरचित ध्वनिक आर्टिफैक्ट्स के रूप में प्रकट होती है। स्पीच मॉडल्स में, त्रुटि प्रत्यक्ष अनुभव (perception) को प्रभावित करती है — और मानव श्रवण प्रणाली इसके लिए बहुत कम क्षमाशील है।

जब मेट्रिक्स झूठ बोलते हैं: हमारे PCC अवलोकन

प्रयोगों के दौरान सबसे आश्चर्यजनक अवलोकनों में से एक PCC (पियर्सन कोरिलेशन कोफिशिएंट) को लेकर था, जिसे अक्सर गोल्ड-स्टैंडर्ड समानता मीट्रिक माना जाता है।

जब NVIDIA L40S पर चल रहे PyTorch मॉडल की तुलना CPU (AMD EPYC 7352 24-Core Processor) से की गई, तो समान इनपुट के साथ एंड-टू-एंड PCC केवल 0.72 था। कम PCC (इतना कम कि इसे बेमेल माना जाता है) के बावजूद ऑडियो समान और अच्छे थे।

इसने एक विश्वसनीय शुद्धता मीट्रिक के बिना टेनस्टोरेंट (tenstorrent) पर पोर्ट करते समय इसे चुनौतीपूर्ण बना दिया:

उदाहरण के लिए, लेयर्स में से एक में:

• PCC अत्यधिक उच्च था

• सापेक्ष त्रुटि बहुत कम थी

• PCC इतना उच्च था कि यह राउंड होकर 1.0 हो गया

फिर भी उसी लेयर के कारण सुनाई देने वाला आउटपुट टूट रहा था।

इसकी सटीक पहचान करने में एक महीने से अधिक की जांच की आवश्यकता पड़ी। शुरुआती संदेह कम PCC मान वाले लेयर्स पर था। विडंबना यह है कि समस्याग्रस्त लेयर मानक मेट्रिक्स द्वारा संख्यात्मक रूप से "सटीक" दिखाई दे रही थी।

यह एक महत्वपूर्ण अंतर्दृष्टि पर प्रकाश डालता है:

पारंपरिक संख्यात्मक समानता मेट्रिक्स हमेशा अवधारणात्मक ऑडियो गुणवत्ता (perceptual audio quality) के विश्वसनीय संकेतक नहीं होते हैं।

TTS के लिए अद्वितीय संरचनात्मक बाधाएं

कुछ लेयर संरचनाएं आधुनिक TTS आर्किटेक्चर के लिए स्वाभाविक हैं।

उन्हें बदलना:

• रोबोटिक वॉयस इफेक्ट्स लाता है

• हार्मोनिक अस्थिरता का कारण बनता है

• सूक्ष्म लेकिन अस्वीकार्य आर्टिफैक्ट्स उत्पन्न करता है

हमारे सामने आई कुछ परिशुद्धता आवश्यकताएं LLM की दुनिया में लगभग अनसुनी होंगी। लैंग्वेज मॉडलिंग में जो स्वीकार्य बहाव (drift) है, वह वेवफॉर्म जनरेशन में विनाशकारी हो जाता है।

यह BlockFloat8 + LoFi को अत्यधिक चुनौतीपूर्ण क्यों बनाता है

इन कारणों से, पूरे TTS पाइपलाइन में BlockFloat8 और LoFi कंप्यूट को आक्रामक रूप से लागू करना LLMs या इमेज मॉडल्स की तुलना में काफी अधिक चुनौतीपूर्ण है।

इन्हें प्राप्त करना:

• 95%+ LoFi लेयर कवरेज

• 80%+ BlockFloat8 अपनाना

• कोई सुनाई देने वाले आर्टिफैक्ट्स न होना

इसके लिए आवश्यक था:

• आर्किटेक्चरल को-डिजाइन

• चयनात्मक परिशुद्धता बनाए रखना (Selective precision retention)

• कस्टम कर्नेल इम्प्लीमेंटेशन

• लेयर-वार प्रयोग (Layer-wise experimentation)

• मानक मेट्रिक्स से परे अवधारणात्मक सत्यापन (Perceptual validation)
  
  
  

TTS संख्यात्मक रूप से नाजुक है क्योंकि यह क्रमिक सुधार (iterative refinement) के माध्यम से एक सतत, संवेदनशील सिग्नल उत्पन्न करता है। छोटे व्यवधान समय के साथ बढ़ते जाते हैं और सीधे वेवफॉर्म में प्रकट होते हैं।

यही कारण है कि यह ऑप्टिमाइजेशन समस्या मौलिक रूप से दिखने की तुलना में अधिक कठिन है।

हार्डवेयर-स्तर का लाभ: टेनस्टोरेंट क्यों महत्वपूर्ण है

Nvidia GPUs बड़े पैमाने पर समानांतर स्ट्रीमिंग मल्टीप्रोसेसर (SMs) के इर्द-गिर्द बने हैं। हालांकि थ्रूपुट वर्कलोड के लिए यह बेहद शक्तिशाली हैं, लेकिन SMs काफी हद तक स्वतंत्र निष्पादन इकाइयों के रूप में काम करते हैं। जब एक SM द्वारा उत्पादित डेटा की आवश्यकता दूसरे को होती है, तो इसे आमतौर पर साझा मेमोरी पदानुक्रमों को पार करना पड़ता है और अक्सर ग्लोबल मेमोरी के माध्यम से राउंड-ट्रिप करनी पड़ती है।

यह मॉडल बड़े बैच वर्कलोड के लिए अच्छा काम करता है, लेकिन यह सिंगल-सैंपल TTS के लिए अक्षमताएं पैदा करता है, जहां लेटेंसी और मेमोरी मूवमेंट का दबदबा होता है।

मेमोरी मूवमेंट की समस्या

पारंपरिक GPU निष्पादन में:

• मल्टीपल कंप्यूट इकाइयां ओवरलैपिंग वेट टाइल्स (weight tiles) प्राप्त कर सकती हैं

• मध्यवर्ती सक्रियण (Intermediate activations) बार-बार ग्लोबल मेमोरी में लीक होते हैं

• लेयर ट्रांजिशन के लिए अक्सर DRAM से डेटा को रीलोड करने की आवश्यकता होती है
  
  
  

हाई-बैंडविड्थ मेमोरी (HBM) के साथ भी, DRAM एक्सेस बना रहता है:

• ऊर्जा के लिहाज से महंगा

• लेटेंसी-भारी (Latency-heavy)

• इन्फ्रेंस लागत में एक प्रमुख योगदानकर्ता
  
  
  

उच्च बैंडविड्थ मेमोरी मूवमेंट को समाप्त नहीं करता - यह केवल इसे कम कष्टदायक बनाता है।

सिंगल-स्ट्रीम रियल-टाइम TTS इन्फ्रेंस के लिए, आप इस लागत को कम करने के लिए बैचिंग पर भरोसा नहीं कर सकते। आपको हर बार पूरी मेमोरी लेटेंसी का भुगतान करना पड़ता है।

टेनस्टोरेंट समीकरण को कैसे बदलता है

टेनस्टोरेंट का आर्किटेक्चर बड़े वितरित SRAM के साथ, सीधे कंप्यूट कोर को जोड़ने वाले नेटवर्क-ऑन-चिप (NoC) को पेश करता है।

यह सक्षम बनाता है:

• DRAM राउंड-ट्रिप के बिना सीधे कोर-टू-कोर डेटा मूवमेंट

• वेट टाइल्स का मल्टीकास्टिंग - वेट के एक हिस्से को एक बार लाया जा सकता है और कोर पर ब्रॉडकास्ट किया जा सकता है

• कम अनावश्यक मेमोरी फ़ेच (redundant memory fetches)

• ग्लोबल मेमोरी ट्रैफ़िक कम होने के कारण कम बिजली की खपत
  
  
  

एक सामान्य matmul में, DRAM से समान वेट ब्लॉक को स्वतंत्र रूप से प्राप्त करने वाली कई इकाइयों के बजाय, ब्लॉक को एक बार प्राप्त किया जाता है और कुशलतापूर्वक कोर में वितरित किया जाता है।

मेमोरी मूवमेंट - न कि रॉ FLOPs - अक्सर इन्फ्रेंस में वास्तविक बाधा होती है। NoC + SRAM डिज़ाइन सीधे इस बाधा पर प्रहार करता है।

40 गुना कम हार्डवेयर लागत पर नेटिव BlockFloat8 सपोर्ट

BlockFloat8 सपोर्ट आधुनिक हाई-एंड GPU आर्किटेक्चर में मौजूद है, लेकिन इसके लिए आमतौर पर प्रीमियम हार्डवेयर श्रेणियों की आवश्यकता होती है। उदाहरण के लिए, नेटिव FP8 क्षमता वाले NVIDIA के Blackwell-क्लास GPUs प्रति एक्सेलेरेटर ~$40,000 की सीमा में आते हैं।

इसके विपरीत, टेनस्टोरेंट ~$1,000 श्रेणी के हार्डवेयर पर कुशल BlockFloat8 निष्पादन सक्षम बनाता है।

कम-परिशुद्धता वाले कंप्यूट को सक्षम करने के लिए हार्डवेयर अधिग्रहण लागत में यह लगभग 40 गुना का अंतर है।

यह मौलिक रूप से लागत-प्रदर्शन समीकरण को बदल देता है।
BlockFloat8 केवल उपलब्ध ही नहीं है — यह रियल-टाइम इन्फ्रेंस के लिए आर्थिक रूप से व्यावहारिक बन जाता है, जिसमें छोटे और मध्यम आकार के TTS मॉडल शामिल हैं जहां प्रीमियम एक्सेलेरेटर मूल्य निर्धारण को उचित नहीं ठहराया जा सकता है।

जब BFP8 हार्डवेयर स्तर पर किफायती होता है, तो आक्रामक संख्यात्मक अनुकूलन (numerical optimization) केवल सैद्धांतिक न रहकर डिप्लॉय करने योग्य बन जाता है।

मापे गए परिणाम

तालिका 1: मापी गई लेटेंसी, कनक्रेन्सी

[1] P100 और P150 में सिंगल-चिप इन्फ्रेंस के लिए समान लेटेंसी होने की उम्मीद है, क्योंकि lightning V2 मल्टी-चिप इन्फ्रेंस नहीं करता है और QSFP का उपयोग नहीं करता है, इसलिए लेटेंसी P150 के समान होने की उम्मीद है। मापी गई लेटेंसी P150 की हैं।

यह क्यों महत्वपूर्ण है

Lightning V2 को केवल क्वांटाइज और डिप्लॉय नहीं किया गया था।
इसे हार्डवेयर के साथ सह-अनुकूलित (co-optimized) किया गया था।

• NoC ने मेमोरी के दबाव को कम किया।

• SRAM लोकैलिटी ने ऊर्जा लागत और अनावश्यक DRAM मूवमेंट को कम किया।

• नेटिव BlockFloat8 ने कंप्यूट लागत को कम किया।

परिणाम न केवल तेज़ इन्फ्रेंस था — बल्कि यह इन्फ्रेंस इकोनॉमिक्स में एक संरचनात्मक बदलाव था।

एक ठोस तुलना

धारणा (सरलता के लिए): प्रत्येक रिस्पॉन्स लगभग 5 सेकंड का ऑडियो उत्पन्न करता है (यह प्रति अनुरोध थोड़ा भिन्न हो सकता है)।

तालिका 1 से, प्रत्येक L40S प्रति सेकंड 3.33×3×5=50 सेकंड का ऑडियो उत्पन्न कर सकता है, जबकि एक P150 प्रति सेकंड 4×5=20 सेकंड का ऑडियो उत्पन्न कर सकता है।

एक वॉयस एजेंट पाइपलाइन (AST → LLM → TTS) पर विचार करें जो 100% हार्डवेयर उपयोग पर काम कर रही है, जहां वर्तमान पीढ़ी के पूरा होने से पहले TTS चरण का अगला इनपुट हमेशा तैयार रहता है।

5 सेकंड की अवधि के भीतर 550×5=2750 सेकंड के ऑडियो उत्पन्न करने के बराबर वर्कलोड बनाए रखने के लिए - जो पूर्ण उपयोग पर 550 ओवरलैपिंग 5-सेकंड के अनुरोधों के निरंतर प्रवाह के अनुरूप है (यानी, प्रभावी रूप से 550 एक साथ कॉलों का समर्थन करना):

चूंकि प्रत्येक अनुरोध ~5 सेकंड का ऑडियो उत्पन्न करता है, और एक सिंगल NVIDIA GPU प्रति सेकंड लगभग 10 अनुरोधों को प्रोसेस कर सकता है (3 रिस्पॉन्स के लिए मापे गए ~300 ms के आधार पर), प्रत्येक GPU प्रति सेकंड 10×5=50 ऑडियो-सेकंड प्रदान करता है। इसलिए, 11 GPUs सामूहिक रूप से प्रति सेकंड ~550 ऑडियो-सेकंड प्रदान करते हैं, जो इस वर्कलोड को बनाए रखने के लिए पर्याप्त है।

• NVIDIA को 11× L40S GPUs की आवश्यकता होगी, जिसकी लागत एक्सेलेरेटर हार्डवेयर में लगभग ~$100,000 होगी।

• इसी तरह, टेनस्टोरेंट को 27× P100[1] (कुल ~$27,000) या 27× P150 (कुल ~$37,000) की आवश्यकता होगी।
  
  
  

समान वर्कलोड को पूरा करने के लिए अपफ्रंट एक्सेलेरेटर लागत में यह ~3-4 गुना की कमी है।

~$27K और ~$100K के बीच का अंतर मामूली नहीं है — यह निर्णायक है। कई डिप्लॉयमेंट्स के लिए, केवल यही अंतर यह तय करता है कि ऑन-प्रिमाइसेस इन्फ्रेंस व्यावहारिक है या नहीं।

संरचनात्मक प्रभाव

यह बदलाव तीन महत्वपूर्ण तरीकों से TTS की इकोनॉमिक्स को बदल देता है:

1. ऑन-प्रिमाइसेस व्यावहारिक हो जाता है- बिना छह अंकों के GPU बजट की आवश्यकता के।

2. पूंजीगत व्यय (Capital expenditure) में काफी गिरावट आती है, जिससे छोटी टीमें उच्च गुणवत्ता वाले वॉयस मॉडल डिप्लॉय करने में सक्षम होती हैं।

3. वॉयस-नेटिव एप्लिकेशन बनाने की बाधा कम हो जाती है, विशेष रूप से लेटेंसी-संवेदनशील और प्राइवेसी-संवेदनशील वर्कलोड के लिए।
   
   
   

जब ऑडियो गुणवत्ता से समझौता किए बिना इन्फ्रेंस की लागत 4 गुना कम हो जाती है, तो नए डिप्लॉयमेंट मॉडल व्यावहारिक हो जाते हैं। रियल-टाइम स्पीच सिस्टम अब हाई-एंड GPU इन्फ्रास्ट्रक्चर तक सीमित नहीं रह गए हैं।

यह केवल प्रदर्शन में सुधार नहीं है।
यह एक आर्थिक द्वार खोलना है।

भविष्य का कार्य

टेनस्टोरेंट पर Lightning V2 एक बड़ा मील का पत्थर है। हमारा नवीनतम मॉडल, Lightning V3, पहले से ही गुणवत्ता और आर्किटेक्चरल दक्षता में V2 से आगे है। हमारी योजना समान या उससे अधिक लागत वाली सफलताओं को लक्षित करते हुए, समान को-डिजाइन सिद्धांतों के साथ टेनस्टोरेंट पर Lightning V3 डिप्लॉय करने की है।

कर्नेल और प्रोग्राम ऑप्टिमाइजेशन

हालांकि वर्तमान परिणाम मजबूत हार्डवेयर लाभ प्रदर्शित करते हैं, कई प्रोग्राम कॉन्फ़िगरेशन अभी भी सब-ऑप्टिमल (sub-optimal) हैं। अभी भी सुधार की काफी गुंजाइश है।

क्षमता को दर्शाने के लिए:

एक अत्यधिक अनुकूलित लेयर (~6B MACs) वर्तमान में लेती है:

• NVIDIA L40S पर ~60 μs

• टेनस्टोरेंट P100 [1] और P150 पर ~31 μs

यह दर्शाता है कि जब लेयर्स को टेनस्टोरेंट के आर्किटेक्चर का फायदा उठाने के लिए पूरी तरह से अनुकूलित किया जाता है, तो प्रदर्शन में सुधार केवल क्रमिक नहीं होते - वे गुणक होते हैं (एक ऐसे डिवाइस पर 18 गुना -> 2 गुना बेहतर जो 9 गुना सस्ता है)।

अधिक लेयर्स में इस स्तर के ऑप्टिमाइजेशन को विस्तारित करने से 8-12 गुना लाभ मिलने की उम्मीद है।

उद्देश्य स्पष्ट है:

न केवल कम लागत — बल्कि रियल-टाइम स्पीच इन्फ्रेंस के लिए दक्षता की सीमा को संरचनात्मक रूप से फिर से परिभाषित करना।

हमारे शोध पत्र में इस बारे में अधिक पढ़ें: https://arxiv.org/pdf/2604.03279