संयुक्त ब्लॉकफ़्लोट8 क्वांटाइजेशन और कम-परिशुद्धता अंकगणित (reduced-precision arithmetic) के तहत उच्च गुणवत्ता वाले स्पीच सिंथिसिस प्रदान करने वाला दुनिया का पहला टीटीएस (TTS) मॉडल।
मुख्य विशेषताएं
NVIDIA L40S की तुलना में 4 गुना कम ऑन-प्रिमाइसेस (on-prem) इनफरेंस लागत
समान सिस्टम लागत पर लगभग 3.6 गुना अधिक प्रभावी कंप्यूट थ्रूपुट, जिससे लगभग 4 गुना अधिक कन्करेंसी (concurrency) सक्षम होती है
95% से अधिक लेयर्स बिना किसी मापने योग्य ऑडियो गिरावट के LoFi कम्प्यूटेशनल फिडेलिटी में चल रही हैं
80% से अधिक मॉडल BlockFloat8 (BFP8) में डिप्लॉय किया गया है
BFP8 के माध्यम से मॉडल के आकार में लगभग 2 गुना कमी
आक्रामक संख्यात्मक अनुकूलन (numerical optimization) के बावजूद शून्य श्रव्य आर्टिफैक्ट्स (audible artifacts)
लर्निंग V2 प्रोडक्शन ऑडियो क्वालिटी पर कम्प्यूटेशनल फिडेलिटी और BlockFloat8 को संयोजित करने वाला दुनिया का पहला TTS मॉडल है
टेक्स्ट-टू-स्पीच, LLMs या इमेज मॉडल्स की तुलना में संख्यात्मक रूप से अधिक नाजुक क्यों है
टेक्स्ट-टू-स्पीच बुनियादी तौर पर LLMs की तुलना में संख्यात्मक रूप से अधिक नाजुक है क्योंकि यह डिस्क्रीट टोकन के बजाय एक सतत तरंग (continuous waveform) उत्पन्न करता है। भाषा मॉडलों में, छोटी क्वांटाइजेशन त्रुटियां संभावना वितरण को बाधित करती हैं — अगला टोकन बदल सकता है, फिर भी टोकन सीमाओं पर प्राकृतिक रीसेट बिंदुओं के कारण आउटपुट अक्सर सुसंगत रहता है। हालाँकि, TTS में, प्रत्येक संख्यात्मक मान सीधे श्रव्य सिग्नल ऊर्जा में योगदान देता है। त्रुटि को अवशोषित करने के लिए कोई सीमा नहीं है। एक छोटा सा व्यवधान केवल संभावनाओं को नहीं बदलता — यह फेज, हार्मोनिक संरचना और तरंग निरंतरता को बदल देता है। जो बात एक LLM में सांख्यिकीय रूप से मामूली है, वह ऑडियो में प्रत्यक्ष रूप से स्पष्ट हो सकती है।
भाषण मिलीसेकंड के भीतर एक विस्तृत डायनेमिक रेंज तक फैला होता है — कम-ऊर्जा वाले फ्रिकेटिव्स से लेकर उच्च-ऊर्जा वाले स्वरों और तीव्र ट्रांजिएंट्स तक। जब सटीकता कम हो जाती है (जैसे, BlockFloat8 या LoFi कंप्यूट के साथ), तो छोटे संख्यात्मक विचलन कम-ऊर्जा वाले फोनेम्स (phonemes) को समाप्त कर सकते हैं, बैकग्राउंड हिस (hiss) ला सकते हैं, टिम्ब्रे (timbre) को विकृत कर सकते हैं, या पिच अस्थिरता का कारण बन सकते हैं। क्वांटाइजेशन त्रुटि औसत रूप से समाप्त नहीं होती है; यह संरचित ध्वनिक आर्टिफैक्ट्स के रूप में प्रकट होती है। भाषण मॉडलों में, त्रुटि प्रत्यक्ष अनुभव को प्रभावित करती है — और मानव श्रवण प्रणाली इसके प्रति बहुत अधिक संवेदनशील होती है।
जब मेट्रिक्स झूठ बोलते हैं: हमारे PCC अवलोकन
प्रयोग के दौरान सबसे आश्चर्यजनक अवलोकनों में से एक PCC (पियर्सन कोरिलेशन कोफिशिएंट) को लेकर था, जिसे अक्सर एक स्वर्ण-मानक समानता मीट्रिक के रूप में माना जाता है।
जब NVIDIA L40S पर चल रहे PyTorch मॉडल की तुलना CPU (AMD EPYC 7352 24-Core Processor) से की गई, तो समान इनपुट के साथ एंड-टू-एंड PCC केवल 0.72 था। कम PCC (इतना कम कि इसे असंगत माना जाता है) के बावजूद ऑडियो समान और अच्छे थे।
इसने एक विश्वसनीय सटीकता मीट्रिक के बिना टेन्सटोरेंट (tenstorrent) पर पोर्ट करते समय चुनौती खड़ी कर दी:
उदाहरण के लिए, एक लेयर में:
PCC अत्यधिक उच्च था
सापेक्ष त्रुटि बहुत छोटी थी
PCC इतना अधिक था कि यह राउंड होकर 1.0 हो गया था
फिर भी उसी लेयर के कारण श्रव्य आउटपुट में खराबी आ गई।
इसे ठीक-ठीक पहचानने में एक महीने से अधिक की जांच लगी। प्रारंभिक संदेह कम PCC मानों वाली लेयर्स पर था। विडंबना यह है कि समस्याग्रस्त लेयर मानक मेट्रिक्स द्वारा संख्यात्मक रूप से "सटीक" दिखाई दे रही थी।
यह एक महत्वपूर्ण अंतर्दृष्टि को उजागर करता है:
पारंपरिक संख्यात्मक समानता मेट्रिक्स हमेशा प्रत्यक्ष ऑडियो गुणवत्ता के विश्वसनीय संकेतक नहीं होते हैं।
TTS के लिए अद्वितीय संरचनात्मक बाधाएं
कुछ लेयर संरचनाएं आधुनिक TTS आर्किटेक्चर के लिए स्वाभाविक रूप से आवश्यक हैं।
उन्हें बदलने से:
रोबोटिक आवाज का प्रभाव उत्पन्न होता है
हार्मोनिक अस्थिरता पैदा होती है
सूक्ष्म लेकिन अस्वीकार्य आर्टिफैक्ट्स उत्पन्न होते हैं
हमारे सामने आई कुछ सटीकता आवश्यकताएं LLM की दुनिया में लगभग अनसुनी होंगी। भाषा मॉडलिंग में जो स्वीकार्य विचलन है, वह तरंग निर्माण (waveform generation) में विनाशकारी हो जाता है।
यह BlockFloat8 + LoFi को अत्यधिक चुनौतीपूर्ण क्यों बनाता है
इन कारणों से, TTS पाइपलाइन में BlockFloat8 और LoFi कंप्यूट को आक्रामक रूप से लागू करना, LLMs या इमेज मॉडल्स के लिए ऐसा करने की तुलना में काफी अधिक चुनौतीपूर्ण है।
इन्हें प्राप्त करने के लिए:
95% से अधिक LoFi लेयर कवरेज
80% से अधिक BlockFloat8 अपनाना
कोई श्रव्य आर्टिफैक्ट्स नहीं
निम्नलिखित की आवश्यकता थी:
आर्किटेक्चरल को-डिजाइन
चयनात्मक सटीकता बनाए रखना (Selective precision retention)
कस्टम कर्नेल कार्यान्वयन
लेयर-वार प्रयोग
मानक मेट्रिक्स से परे प्रत्यक्ष सत्यापन
TTS संख्यात्मक रूप से नाजुक है क्योंकि यह क्रमिक सुधार के माध्यम से एक सतत, प्रत्यक्ष रूप से संवेदनशील सिग्नल उत्पन्न करता है। छोटे व्यवधान समय के साथ बढ़ते जाते हैं और सीधे तरंग रूप में प्रकट होते हैं।
यही कारण है कि यह अनुकूलन (optimization) समस्या मौलिक रूप से दिखने की तुलना में कहीं अधिक कठिन है।
हार्डवेयर-स्तर का लाभ: टेन्सटोरेंट क्यों मायने रखता है
Nvidia GPUs बड़े पैमाने पर समानांतर स्ट्रीमिंग मल्टीप्रोसेसरों (SMs) के इर्द-गिर्द बने हैं। हालांकि थ्रूपुट वर्कलोड के लिए ये बेहद शक्तिशाली हैं, लेकिन SMs काफी हद तक स्वतंत्र निष्पादन इकाइयों के रूप में काम करते हैं। जब एक SM द्वारा उत्पादित डेटा की आवश्यकता दूसरे को होती है, तो इसे आमतौर पर साझा मेमोरी पदानुक्रमों को पार करना पड़ता है और अक्सर वैश्विक मेमोरी के माध्यम से वापस आना पड़ता है।
यह मॉडल बड़े बैच वर्कलोड के लिए अच्छी तरह से काम करता है, लेकिन यह एकल-नमूना (single-sample) TTS के लिए अक्षमताएं पैदा करता है, जहां विलंबता (latency) और मेमोरी का आवागमन हावी होता है।
मेमोरी मूवमेंट की समस्या
पारंपरिक GPU निष्पादन में:
एकाधिक कंप्यूट इकाइयां ओवरलैपिंग वेट टाइल्स ला सकती हैं
मध्यवर्ती सक्रियण (intermediate activations) अक्सर वैश्विक मेमोरी में चले जाते हैं
लेयर परिवर्तनों के लिए अक्सर DRAM से डेटा को पुनः लोड करने की आवश्यकता होती है
उच्च-बैंडविड्थ मेमोरी (HBM) के साथ भी, DRAM एक्सेस बना रहता है:
ऊर्जा के लिहाज से खर्चीला
अधिक विलंबता वाला
इनफरेंस लागत में एक प्रमुख योगदानकर्ता
उच्च बैंडविड्थ मेमोरी मूवमेंट को समाप्त नहीं करता - यह केवल इसकी कठिनाई को कम करता है।
एकल-स्ट्रीम रीयल-टाइम TTS इनफरेंस के लिए, आप इस लागत को कम करने के लिए बैचिंग पर भरोसा नहीं कर सकते। आपको हर बार पूरी मेमोरी विलंबता का भुगतान करना होगा।
टेन्सटोरेंट समीकरण को कैसे बदलता है
टेन्सटोरेंट का आर्किटेक्चर बड़े वितरित SRAM के साथ सीधे कंप्यूट कोर को जोड़ने वाला एक नेटवर्क-ऑन-चिप (NoC) पेश करता है।
यह सक्षम बनाता है:
DRAM राउंड-ट्रिप के बिना सीधे कोर-टू-कोर डेटा मूवमेंट
वेट टाइल्स की मल्टीकास्टिंग- वेट के एक हिस्से को एक बार लाया जा सकता है और कोर पर प्रसारित किया जा सकता है
अनावश्यक मेमोरी फ़ेच में कमी
न्यूनतम वैश्विक मेमोरी ट्रैफ़िक के कारण कम बिजली की खपत
एक सामान्य matmul में, DRAM से स्वतंत्र रूप से एक ही वेट ब्लॉक लाने वाली कई इकाइयों के बजाय, ब्लॉक को एक बार लाया जाता है और कोर में कुशलतापूर्वक वितरित किया जाता है।
मेमोरी मूवमेंट - न कि रॉ FLOPs - अक्सर इनफरेंस में वास्तविक बाधा होती है। NoC + SRAM डिज़ाइन सीधे इस बाधा पर प्रहार करता है।
40 गुना कम हार्डवेयर लागत पर नेटिव BlockFloat8 सपोर्ट
BlockFloat8 सपोर्ट आधुनिक हाई-एंड GPU आर्किटेक्चर में मौजूद है, लेकिन इसके लिए आमतौर पर प्रीमियम हार्डवेयर स्तरों की आवश्यकता होती है। उदाहरण के लिए, नेटिव FP8 क्षमता वाले NVIDIA के Blackwell-क्लास GPU प्रति एक्सेलेरेटर ~$40,000 की सीमा में आते हैं।
इसके विपरीत, टेन्सटोरेंट ~$1,000 श्रेणी के हार्डवेयर पर कुशल BlockFloat8 निष्पादन सक्षम बनाता है।
कम-सटीकता कंप्यूट को सक्षम करने के लिए हार्डवेयर अधिग्रहण लागत में यह लगभग 40 गुना का अंतर है।
यह मौलिक रूप से लागत-प्रदर्शन समीकरण को बदल देता है।
BlockFloat8 केवल उपलब्ध ही नहीं है — यह रीयल-टाइम इनफरेंस के लिए आर्थिक रूप से व्यवहार्य बन जाता है, जिसमें छोटे और मध्यम आकार के TTS मॉडल शामिल हैं जहां प्रीमियम एक्सेलेरेटर मूल्य निर्धारण को उचित नहीं ठहराया जा सकता है।
जब BFP8 हार्डवेयर स्तर पर किफायती होता है, तो आक्रामक संख्यात्मक अनुकूलन केवल सैद्धांतिक न रहकर उपयोग के लिए व्यावहारिक हो जाता है।
मापे गए परिणाम
हार्डवेयर | लागत | कन्करेंसी (concurrency) | विलंबता (ms) | लागत लाभ |
L40s | $9000 | 3 | 300 | 1x |
P150 | $1400 | 1 | 250 | 2.6x |
P100 [1] | $1000 | 1 | 250 | 3.6x |
तालिका 1: मापी गई विलंबता, कन्करेंसी
[1] P100 और P150 में सिंगल-चिप इनफरेंस के लिए समान विलंबता होने की उम्मीद है, क्योंकि lightning V2 मल्टी-चिप इनफरेंस नहीं करता है और QSFP का उपयोग नहीं करता है, विलंबता P150 के समान ही रहने की उम्मीद है। मापी गई विलंबताएं P150 की हैं।
यह क्यों मायने रखता है
Lightning V2 को केवल क्वांटाइज़्ड और डिप्लॉय नहीं किया गया था।
इसे हार्डवेयर के साथ सह-अनुकूलित (co-optimized) किया गया था।
NoC ने मेमोरी के दबाव को कम किया।
SRAM स्थानीयता ने ऊर्जा लागत और अनावश्यक DRAM आवागमन को कम किया।
नेटिव BlockFloat8 ने कंप्यूट लागत को कम किया।
परिणाम केवल तेज़ इनफरेंस नहीं था — यह इनफरेंस के अर्थशास्त्र में एक संरचनात्मक बदलाव था।
एक ठोस तुलना
धारणा (सरलता के लिए): प्रत्येक प्रतिक्रिया लगभग 5 सेकंड का ऑडियो उत्पन्न करती है (यह प्रति अनुरोध थोड़ा भिन्न हो सकती है)।
तालिका 1 से, प्रत्येक L40S प्रति सेकंड 3.33×3×5=50 सेकंड का ऑडियो उत्पन्न कर सकता है, जबकि एक P150 प्रति सेकंड 4×5=20 सेकंड का ऑडियो उत्पन्न कर सकता है।
एक वॉयस एजेंट पाइपलाइन (AST → LLM → TTS) पर विचार करें जो 100% हार्डवेयर उपयोग पर काम कर रही है, जहां वर्तमान पीढ़ी के पूरा होने से पहले TTS चरण का अगला इनपुट हमेशा तैयार रहता है।
5 सेकंड की विंडो के भीतर 550×5=2750 सेकंड के ऑडियो उत्पन्न करने के बराबर वर्कलोड को बनाए रखने के लिए- जो पूर्ण उपयोग पर 550 ओवरलैपिंग 5-सेकंड के अनुरोधों के निरंतर प्रवाह के अनुरूप है (यानी, प्रभावी रूप से 550 समवर्ती कॉलों का समर्थन करता है):
चूंकि प्रत्येक अनुरोध ~5 सेकंड का ऑडियो उत्पन्न करता है, और एक सिंगल NVIDIA GPU प्रति सेकंड लगभग 10 अनुरोधों को संसाधित कर सकता है (3 प्रतिक्रियाओं के लिए मापे गए ~300 ms के आधार पर), प्रत्येक GPU 10×5=50 ऑडियो-सेकंड प्रति सेकंड प्रदान करता है। इसलिए, 11 GPUs सामूहिक रूप से ~550 ऑडियो-सेकंड प्रति सेकंड प्रदान करते हैं, जो इस वर्कलोड को बनाए रखने के लिए पर्याप्त है।
NVIDIA को 11× L40S GPUs की आवश्यकता होगी, जिसकी लागत एक्सेलेरेटर हार्डवेयर में लगभग ~$100,000 होगी।
इसी तरह, टेन्सटोरेंट को 27× P100[1] (कुल ~$27,000) या 27× P150 (कुल ~$37,000) की आवश्यकता होगी।
यह समान वर्कलोड को पूरा करने के लिए अग्रिम एक्सेलेरेटर लागत में ~3-4 गुना की कमी है।
~$27K और ~$100K के बीच का अंतर केवल मामूली नहीं है — यह निर्णायक है। कई डिप्लॉयमेंट्स के लिए, केवल यही अंतर यह निर्धारित करता है कि ऑन-प्रिमाइसेस इनफरेंस व्यवहार्य है या नहीं।
संरचनात्मक प्रभाव
यह बदलाव तीन महत्वपूर्ण तरीकों से TTS के अर्थशास्त्र को बदलता है:
ऑन-प्रिमाइसेस व्यवहार्य बन जाता है- बिना छह अंकों वाले GPU बजट की आवश्यकता के।
पूंजीगत व्यय (Capital expenditure) में काफी गिरावट आती है, जिससे छोटी टीमें उच्च गुणवत्ता वाले वॉयस मॉडल डिप्लॉय करने में सक्षम होती हैं।
वॉयस-नेटिव एप्लिकेशन बनाने की बाधा कम हो जाती है, विशेष रूप से विलंबता-संवेदनशील और गोपनीयता-संवेदनशील वर्कलोड के लिए।
जब ऑडियो गुणवत्ता से समझौता किए बिना इनफरेंस लागत 4 गुना कम हो जाती है, तो नए डिप्लॉयमेंट मॉडल व्यावहारिक हो जाते हैं। रीयल-टाइम स्पीच सिस्टम अब हाई-एंड GPU इन्फ्रास्ट्रक्चर तक सीमित नहीं हैं।
यह केवल प्रदर्शन में सुधार नहीं है।
यह एक आर्थिक द्वार खोलता है।
भविष्य का कार्य
टेन्सटोरेंट पर Lightning V2 एक महत्वपूर्ण मील का पत्थर है। हमारा नवीनतम मॉडल, Lightning V3, गुणवत्ता और संरचनात्मक दक्षता में पहले से ही V2 से आगे है। हम समान सह-डिजाइन सिद्धांतों के साथ टेन्सटोरेंट पर Lightning V3 को डिप्लॉय करने की योजना बना रहे हैं, जिसका लक्ष्य समान या उससे अधिक लागत बचत प्राप्त करना है।
कर्नेल और प्रोग्राम अनुकूलन
जबकि वर्तमान परिणाम मजबूत हार्डवेयर लाभ प्रदर्शित करते हैं, कई प्रोग्राम कॉन्फ़िगरेशन अभी भी इष्टतम नहीं हैं। सुधार की काफी गुंजाइश अभी भी बची है।
क्षमता को दर्शाने के लिए:
एक भारी अनुकूलित लेयर (~6B MACs) वर्तमान में लेती है:
NVIDIA L40S पर ~60 μs
टेन्सटोरेंट P100 [1] और P150 पर ~31 μs
यह प्रदर्शित करता है कि जब लेयर्स को टेन्सटोरेंट के आर्किटेक्चर का लाभ उठाने के लिए पूरी तरह से अनुकूलित किया जाता है, तो प्रदर्शन में सुधार केवल क्रमिक नहीं होता — वे कई गुना बढ़ जाते हैं (9 गुना सस्ते डिवाइस पर 18x -> 2 गुना बेहतर)।
इस स्तर के अनुकूलन को और अधिक लेयर्स तक बढ़ाने से 8-12 गुना लाभ मिलने की उम्मीद है।
उद्देश्य स्पष्ट है:
न केवल कम लागत — बल्कि वास्तविक समय में स्पीच इनफरेंस के लिए दक्षता की सीमा को संरचनात्मक रूप से फिर से परिभाषित करना।
हमारे पेपर में इस बारे में और पढ़ें: https://arxiv.org/pdf/2604.03279
