टेक्स्ट टू स्पीच इवैल्युएशन अब काम के नहीं रहे
जैसे-जैसे अग्रणी वॉयस एआई सिस्टम बुनियादी गुणवत्ता के स्तर पर पहुंच रहे हैं, मूल्यांकन की अगली पीढ़ी को केवल अलग-थलग क्लिपों से आगे बढ़कर उस चीज़ को मापना होगा जिसका उपयोगकर्ता वास्तव में अनुभव करते हैं: अपनी बारी का इंतजार करना, बीच में टोकने को संभालना, भूमिका की उपयुक्तता, और बातचीत में उपस्थिति का अहसास।
टेक्स्ट-टू-स्पीच (TTS) मूल्यांकन मौलिक रूप से त्रुटिपूर्ण हैं।
वर्षों से, स्पीच समुदाय एक परिचित मापदंडों के सेट में TTS मॉडल को बेहतर बनाने में लगा हुआ है: बेहतर उतार-चढ़ाव (prosody), समृद्ध भावनाएं, स्पष्ट ऑडियो, अधिक प्राकृतिक गति। आर्किटेक्चर विकसित हुए, डेटासेट बड़े हुए और न्यूरल वोकोडर आश्चर्यजनक यथार्थवाद तक पहुंच गए। लेकिन जबकि इस क्षेत्र ने एक लंबी छलांग लगाई है, मूल्यांकन में ऐसा नहीं हुआ है।
असहज कर देने वाला सच यह है कि हम वास्तव में यह नहीं जानते कि विश्वसनीय रूप से यह कैसे मापा जाए कि कृत्रिम आवाज़ कितनी स्वाभाविक लगती है। जिसका अर्थ है कि अधिकांश वर्तमान TTS बेंचमार्क सबसे अच्छे रूप में कमज़ोर और सबसे बुरे रूप में भ्रामक हैं।
आज, फ्रंटियर वॉयस सिस्टम यथार्थवाद के ऐसे स्तर पर आ गए हैं जहां पुराने बेंचमार्क अब उनके बीच किसी भी सार्थक तरीके से अंतर नहीं कर सकते। उद्योग TTS प्रणालियों को रैंक करने के लिए एक एकल स्कोर की तलाश करता रहता है, लेकिन यह धारणा मौलिक रूप से त्रुटिपूर्ण है। स्वाभाविक आवाज़ एक-आयामी नहीं होती है। यह समय, पिच, सूक्ष्म-उतार-चढ़ाव, भावना, सांस, वाक्यांश और प्रासंगिक फिट का एक परतदार संयोजन है। दो प्रणालियाँ समग्र स्वाभाविकता पर समान स्कोर कर सकती हैं जबकि वे वास्तव में जहाँ मायने रखती हैं वहाँ पूरी तरह से अलग लग सकती हैं। और एक बार जब आवाज़ वास्तविक बातचीत में प्रवेश करती है, जहां सुनना, प्रतिक्रिया देना और वर्तमान संदर्भ के अनुकूल होना यह परिभाषित करता है कि कोई आवाज़ कितनी विश्वसनीय है, तो एक एकल स्वाभाविकता स्कोर लगभग अर्थहीन हो जाता है।
जब तक मूल्यांकन उस जटिलता को प्रतिबिंबित नहीं करता, यह क्षेत्र उन्हीं मापदंडों पर अत्यधिक अनुकूलन करता रहेगा, और बेंचमार्क आत्मविश्वास से भरे आंकड़े तैयार करते रहेंगे जो अंतिम उपयोगकर्ता के अनुभव को बेहतर बनाने के लिए बहुत कम काम करते हैं। तो फिर बेहतर मूल्यांकन वास्तव में कैसा दिखता है?
इस लेख में, हम उस प्रश्न का उत्तर देने की दिशा में तीन योगदान देते हैं। पहला, हम दिखाते हैं कि MOS, LLM-as-a-judge (न्यायाधीश के रूप में एलएलएम), और जीत की दर (win rate), जो आज इस क्षेत्र में तीनों प्रमुख मीट्रिक्स हैं, वॉयस एजेंटों में संवादात्मक आवाज़ों के लिए ग्राहकों की प्राथमिकताओं के साथ दृढ़ता से संबंधित नहीं हैं। दूसरा, हम दिखाते हैं कि आवाज़ों को आंकने के लिए एक अत्यंत विशिष्ट व्यक्तित्व (persona) को परिभाषित करने से मूल्यांकन की क्षमता बहुत बढ़ जाती है कि मनुष्य किसे स्वाभाविक मानते हैं। तीसरा, हम Lightning V3 पेश करते हैं, जो संवादात्मक वॉयस एजेंटों के लिए डिज़ाइन किया गया एक टेक्स्ट-टू-स्पीच मॉडल है, जिसमें इनबाउंड और आउटबाउंड संपर्क केंद्र उपयोग के मामलों में अत्याधुनिक स्वाभाविकता है।
MOS के साथ समस्याएँ - आवाज़ों में स्वाभाविकता बहु-आयामी होती है। तो हम इसे ऐसे क्यों मापते हैं जैसे कि यह नहीं है?
यहाँ एक उदाहरण में समस्या दी गई है। दो आवाज़ें लें: एक TTS गुणवत्ता के लिए उद्योग के मानक MOS (मीन ओपिनियन स्कोर) पर 5 में से 3.5 स्कोर करती है। दूसरी 3.17 स्कोर करती है।
न्यायाधीश के रूप में LLM के साथ समस्याएँ - क्या हम स्वाभाविकता के विकल्प के रूप में भावनात्मक प्रदर्शन का मूल्यांकन कर रहे हैं?
मानव मूल्यांकन के साथ व्यक्तिपरकता को कम करने के लिए, यह क्षेत्र न्यायाधीशों के रूप में LLMs की ओर मुड़ गया है। वह प्रतिस्थापन, जैसा कि पता चलता है, अपनी खुद की समस्याएं पेश करता है।
जब हम LLMs को न्यायाधीशों के रूप में उपयोग करते हैं, तो हम अंतर्निहित रूप से तीन चीजों को मान रहे होते हैं:
मॉडल टेक्स्ट या मेटाडेटा से स्वाभाविकता का अनुमान लगा सकता है।
मॉडल के पास स्थिर आंतरिक मानदंड हैं।
मॉडल के निर्णय मानव धारणा के साथ मेल खाते हैं।
व्यावहारिक रूप से, इनमें से कोई भी धारणा खरी नहीं उतरती।
हमने LLM न्यायाधीश के रूप में Gemini 2.5 Pro का उपयोग करके कई TTS प्रणालियों का मूल्यांकन किया, जिसमें बातचीत की गुणवत्ता और अभिव्यक्ति के आधार पर मॉडल को स्कोर दिया गया। कागज़ पर, यह कठोर, संरचित, मात्रात्मक और सबसे महत्वपूर्ण रूप से तुलनीय लग रहा था।
ElevenLabs v3 ने भावना और बातचीत की गुणवत्ता पर 5 में से औसतन 4.26 स्कोर किया। Lightning v3 ने औसतन 3.88 स्कोर किया। आंकड़ों के आधार पर, ElevenLabs स्पष्ट रूप से जीतता है।
हालाँकि, एक ब्लाइंड लिसनिंग टेस्ट में, Lightning v3 काफ़ी अधिक स्वाभाविक लगा। ElevenLabs ने अधिक मापने योग्य लक्षण दिखाए: अधिक अभिव्यंजक भावना, सख्त उतार-चढ़ाव और स्पष्ट उच्चारण। और फिर भी यह स्वाभाविक नहीं लगा। जिस तरह से इंसान कोई भावना महसूस करते हुए बात करते हैं और जिस तरह से एक TTS मॉडल आज उस भावना का अनुकरण करने की कोशिश करता है, उसके बीच एक अंतर है।
यह एक गंभीर मूल्यांकन विफलता है।
समस्या चुने गए मूल्यांकन श्रेणियों के पीछे की परिभाषा में नहीं है। उतार-चढ़ाव, स्वर शैली और भावनात्मक व्यवहार जैसे अच्छी तरह से परिभाषित आयामों के साथ भी, हम अभी भी एक भाषा मॉडल से मौलिक रूप से अवधारणात्मक चीज़ का मूल्यांकन करने के लिए कह रहे थे। जैसा कि ऊपर दिए गए नमूनों में देखा गया है, लगातार उत्साहित रहने वाला स्वर अस्वाभाविक लग सकता है। उत्साह सबसे प्रभावी तब होता है जब इसका उपयोग चुनिंदा रूप से, सही समय पर किया जाए, न कि हर समय।
स्वाभाविकता इस बात से नहीं आंकी जाती कि किसी आवाज़ में भावना है या वह सही उच्चारण करती है। यह सूक्ष्म विवरणों में जीवित रहती है: सूक्ष्म समय भिन्नता, सूक्ष्म-ठहराव, सांस की स्थिति, स्पेक्ट्रल सुगमता, स्वनिम (phonemes) के बीच संक्रमण, और छोटे दोष जिन्हें मस्तिष्क मानवीय मानता है। ये ऐसी चीज़ें हैं जिन्हें सुनते ही आप तुरंत नोटिस कर लेते हैं।
जीत की दर (Win Rate) के साथ समस्याएँ - तुलनात्मक मूल्यांकन और यह आपको क्या नहीं बता सकता
जोड़ीदार प्राथमिकता परीक्षण (pairwise preference testing) एक अलग दृष्टिकोण अपनाता है: किसी नमूने को अलग से रेट करने के बजाय, मानव श्रोता सीधे दो नमूनों की तुलना करते हैं और चुनते हैं कि कौन सा बेहतर लगता है। यह स्केलर स्कोरिंग को प्रभावित करने वाले बहुत सारे कैलिब्रेशन शोर से बचाता है।
इसकी सीमा यह है कि यह आपको बताता है कि कौन जीता, यह नहीं कि क्यों जीता। आप सीखते हैं कि एक प्रणाली को प्राथमिकता दी जाती है, लेकिन आपको इस बारे में कोई नैदानिक अंतर्दृष्टि नहीं मिलती है कि उस प्राथमिकता को किस चीज़ ने प्रेरित किया या अंतर को कैसे पाटा जाए।
ऑडियो नमूनों के इन जोड़ों को सुनें। प्रत्येक जोड़े के लिए, खुद से पूछें कि आप किसे पसंद करते हैं, और कितना। संभावना है कि अंतर आपकी अपेक्षा से कम है। अब आप गुणवत्ता नहीं माप रहे हैं। आप केवल अंतर का अंतर माप रहे हैं।
हर मूल्यांकन पद्धति एक ही दीवार से टकराती है। हमारे मॉडल जितने बेहतर होंगे, हमारा मूल्यांकन उतना ही सटीक और नैदानिक होना चाहिए।
ऊपर चर्चा की गई पद्धतियां यह अनुमान लगाने में भी विफल रहती हैं कि वास्तविक बातचीत में आवाज़ कैसी लगती है।
इसमें अंतर है
संवादात्मक पीढ़ी सबसे कठिन काम है जो एक TTS मॉडल को करना पड़ता है। कथन या श्रुतलेख के विपरीत, काम करने के लिए कोई संपूर्ण स्क्रिप्ट नहीं होती है। ऑडियो को वास्तविक समय में संश्लेषित किया जाता है, वाक्य के बीच में भावनाएं बदल जाती हैं, और मॉडल हमेशा अधूरी जानकारी पर काम कर रहा होता है, ऑडियो के प्रत्येक टुकड़े को पूरा करने से पहले वह नहीं जानता कि आगे क्या आने वाला है।
एक स्वतंत्र जीत-दर बेंचमार्क में, मैग्नस (Magnus) ने डैनियल (Daniel) से काफी बेहतर प्रदर्शन किया। हालाँकि, वास्तविक संवादात्मक परिनियोजन, अनौपचारिक सुनने के परीक्षणों में, डैनियल काफी अधिक स्वाभाविक लगा।
पर्सोना फिट (Persona Fit): वह आयाम जिसे कोई नहीं माप रहा है
आवाज़ केवल डिलीवरी का माध्यम नहीं है। सजीव बातचीत में, यह एजेंट की पहचान होती है। श्रोता "एक सुखद आवाज़ में टेक्स्ट पढ़ते हुए" नहीं सुनते हैं। वे एक चरित्र को सुनते हैं और दूसरी आवाज़ की तुलना में एक आवाज़ की प्राथमिकता इस बात पर बहुत अधिक निर्भर करती है कि क्या कहा जा रहा है।
जब एक आवाज़ और व्यक्तित्व असंगत होते हैं, तो यह एक विशिष्ट प्रकार का बेमेलपन पैदा करता है जिसे श्रोता महसूस करते हैं लेकिन उसका नाम लेने में संघर्ष करते हैं।
यहाँ दूसरा वॉयस सैंपल असहज करने वाला है। इसलिए नहीं कि यह अस्वाभाविक है, बल्कि इसलिए कि यह हमारे इस मानसिक मॉडल के विपरीत है कि एक काल्पनिक टेस्ला सेल्समैन की आवाज़ कैसी होनी चाहिए। पहली आवाज़, काइल (Kyle), उस अपेक्षा के अधिक करीब बैठती है।
विचार करें कि एक व्यक्तित्व वास्तव में क्या कूटबद्ध करता है:
अधिकार बनाम सुलभता: एक क्लिनिकल सपोर्ट एजेंट को ऐसी आवाज़ की आवश्यकता होती है जो सक्षमता का संकेत दे। एक वेलनेस बॉट को ऐसी आवाज़ की आवश्यकता होती है जो गर्मजोशी का संकेत दे। एक ही आवाज़ समान सफलता के साथ दोनों काम नहीं कर सकती।
व्यक्तित्व के रूप में गति: एक तेज़ लेन-देन वाले सहायक पर एक धीमी, जानबूझकर की गई आवाज़ न केवल अक्षम लगती है; ऐसा लगता है कि एजेंट के पास काम के लिए सही स्वभाव नहीं है।
भावनात्मक दायरा: शोक सहायता लाइन पर उत्साह और चमक वाली आवाज़ स्वाभाविक नहीं लगती; यह बातचीत की गंभीरता के प्रति उदासीन लगती है।
महत्वपूर्ण अंतर्दृष्टि यह है कि स्वाभाविकता आवाज़ का गुण नहीं है, यह भूमिका-में-आवाज़ का गुण है।
सजीव बातचीत में, पारस्परिक क्रिया गतिशील होती है। एक आवाज़ जिसका स्थिर वाक्यों पर अच्छा परीक्षण होता है, वह तब बिखर सकती है जब उसे भावनात्मक बदलावों को संभालना पड़ता है। एक व्यक्तित्व-सुसंगत आवाज़ उन बदलावों को संभाल सकती है क्योंकि इसमें एक अंतर्निहित चरित्र होता है जिसे श्रोताओं ने पहले ही स्वीकार कर लिया है।
दूसरे शब्दों में, आवाज़ को केवल स्पष्ट नहीं, बल्कि विश्वसनीय होना चाहिए।
यहाँ ध्यान देने योग्य अवधारणा संवादात्मक पर्याप्तता (communicative adequacy) है: यह नहीं कि आवाज़ मानवीय लगती है या नहीं, बल्कि यह कि क्या यह किसी विशिष्ट कार्य के लिए सही मानव जैसी लगती है। एक शांत स्वास्थ्य सेवा एजेंट और एक नपा-तुला वित्तीय सलाहकार एक ही संवादात्मक कार्य नहीं कर रहे हैं। इसे जिस भावनात्मक दायरे को बनाए रखने की आवश्यकता है, संवादात्मक दबाव जिसका इसे सामना करना पड़ेगा, जो विश्वास इसे बनाने की आवश्यकता है, वह अलग होना चाहिए क्योंकि लक्ष्य अलग है। एक बेंचमार्क जो जनसंख्या-औसत स्वाभाविकता स्कोर के करीब होने को पुरस्कृत करता है, वह व्यवस्थित रूप से उन विचलनों को दंडित करेगा जो किसी आवाज़ को उसके संदर्भ के लिए उपयुक्त बनाते हैं।
इस बात के पहले से ही प्रमाण हैं कि यह अंतर वास्तविक है। जब श्रोताओं से पूछा जाता है कि यह कितना स्वाभाविक है बनाम यह यहाँ कितना उपयुक्त है, तो वे एक ही नमूने के लिए काफी भिन्न स्कोर देते हैं।
एक आवाज़ का मूल्यांकन संदर्भ में किया जाना चाहिए, कि क्या यह सही सामाजिक संकेत देती है, उस व्यक्तित्व में फिट बैठती है जिसमें यह रहती है, और उस क्षण में विश्वसनीय लगती है जिसके लिए इसे बनाया गया था।
ज्ञान-आधारित मूल्यांकन प्रणालियों का उपयोग करके बातचीत के लिए मूल्यांकन की गई आवाज़ें
मौजूदा मूल्यांकन के साथ दूसरा विवाद यह है कि LLMs के पास कोई आंतरिक मॉडल नहीं है कि क्या चीज़ आवाज़ को स्वाभाविक बनाती है। इसके बजाय वे जो करते हैं वह पैटर्न मैचिंग है: यह पहचानना कि भाषण के कुछ विवरण कुछ स्कोर के साथ जाते हैं और उसी को दोहराते हैं। परिणाम यह होता है कि एक LLM आत्मविश्वास से एक त्रुटिपूर्ण आवाज़ को स्कोर कर सकता है, ऐसे भावनात्मक गुणों का आविष्कार कर सकता है जो वहां नहीं हैं, या प्रश्न पूछने के तरीके के आधार पर अपने निर्णय को बदल सकता है। वह मूल्यांकन नहीं है। यह परिष्कृत अनुमान है।
पहला कदम मौजूदा बेंचमार्क को आगे बढ़ाना है। MOS, जोड़ीदार प्राथमिकता, और LLM स्कोरिंग की अब आवश्यकता नहीं है। हालाँकि, केवल यह पूछने के बजाय कि कोई आवाज़ कुल मिलाकर कितनी स्वाभाविक लगती है, हमें और आगे बढ़कर यह पूछने की आवश्यकता है कि यह वास्तव में कहाँ टूटती है। क्या यह गति है? पिच का उतार-चढ़ाव है? सांस की स्थिति है? सुधार के लिए उपयोगी होने से पहले मूल्यांकन को इस बारे में अधिक विशिष्ट होना होगा कि वह क्या माप रहा है।
उस विशिष्टता के लिए एक अलग आधार की आवश्यकता होती है। एडवर्ड फीगेनबाउम ने ज्ञान-आधारित प्रणालियों (knowledge-based systems) का समर्थन किया: पैटर्न मिलान के बजाय मानव विशेषज्ञों द्वारा परिभाषित स्पष्ट नियमों पर निर्मित कार्यक्रम। TTS पर लागू होने का अर्थ है सीधे भाषण विज्ञान से मूल्यांकन का निर्माण करना। पिच समोच्च निरंतरता, ठहराव वितरण, स्वनिम संक्रमण सुगमता। एक स्कोर जो पढ़ता है "मानव मानक बैंड के भीतर पिच परिवर्तनशीलता: 92%" का अर्थ कुछ कार्रवाई योग्य है। एक स्कोर जो पढ़ता है "स्वाभाविकता: 4.2", उतना नहीं।
Lightning V3 एक सरल विश्वास के इर्द-गिर्द बनाया गया है: एक आवाज़ अमूर्त रूप में अच्छी या बुरी नहीं होती है। यह उस भूमिका के लिए सही या गलत है जो यह निभा रही है। इसका मतलब है व्यक्तित्व के अनुकूल, संवादात्मक बनावट के लिए, और उन क्षणों के लिए डिज़ाइन करना जहाँ एक आवाज़ को बिना बिखरे वाक्य के बीच में भावनात्मक भार उठाना पड़ता है। यही वह चीज़ है जिसे हम बना रहे हैं।
आवाज़ की गुणवत्ता में अंतिम छलांग केवल बेहतर आर्किटेक्चर से नहीं आएगी। यह सही चीज़ों को मापने से आएगी। बेंचमार्क को सही करना कोई शोध का फुटनोट नहीं है, यह पूरा खेल है। जब तक मूल्यांकन उस चीज़ के करीब नहीं पहुंच जाता जिसे हम वास्तव में बनाने की कोशिश कर रहे हैं, यह क्षेत्र उन स्कोर्स के पीछे भागता रहेगा जिनका वह मतलब नहीं है जो हम सोचते हैं।
यही वह समस्या है जिसे हम smallest.ai पर हल कर रहे हैं।
लेखक: सृष्टि मालवीय, सुदर्शन कामथ
शोधकर्ता: मुकिलन करुपासामी, वसीम मधा, नित्यानंद माथुर, गौरव वर्मा, जोनास मैक, एलेसेंड्रो ड्यूसियो, अक्षत मंडलोई
