2026 में भारतीय अंग्रेज़ी लहजे (इंडियन इंग्लिश एक्सेंट) के लिए स्पीच-टू-टेक्स्ट सटीकता को मापना

भारतीय अंग्रेजी ऑडियो पर सात स्पीच-टू-टेक्स्ट एपीआई की तुलना करने के लिए एक दोहराने योग्य बेंचमार्क तैयार करें। कोई भी निर्णय लेने से पहले एक्सेंट (लहजे), बैकग्राउंड शोर और शब्दावली के आधार पर परिणामों का विश्लेषण करें।
हर स्थिति में भारतीय अंग्रेजी लहजों (Indian English accents) के लिए कोई भी स्पीच-टू-टेक्स्ट API सबसे सटीक नहीं है। आपकी ऑडियो (8 kHz फ़ोन कॉल या 16 kHz माइक्रोफ़ोन), आपके वक्ताओं (हिंदी-, तमिल-, बंगाली- या पंजाबी-प्रभावित अंग्रेजी), और आपकी शब्दावली (बैंक उत्पाद के नाम, शहरों के नाम, दवाओं के नाम) के आधार पर रैंकिंग बदलती रहती है। इस सवाल का भरोसेमंद जवाब पाने का तरीका यह है कि आप अपने स्वयं के लेबल्ड en-IN ऑडियो पर संभावित APIs का परीक्षण करें, प्रत्येक को निष्पक्ष रूप से ट्यून करें, और स्लाइस (विभिन्न श्रेणियों) के आधार पर परिणामों की तुलना करें।
यह गाइड आपको शुरू से अंत तक इस पूरी प्रक्रिया के बारे में बताती है।
आप क्या तैयार करेंगे: एक दोहराए जाने योग्य बेंचमार्क जो भारतीय अंग्रेजी ऑडियो पर स्पीच-टू-टेक्स्ट APIs को रैंक करता है, जिसमें कस्टमाइज़ेशन से पहले और बाद के परिणाम और एक प्रोडक्शन मॉनिटरिंग प्लान शामिल है।
यह किसके लिए है: इंजीनियर्स, ML प्रैक्टिशनर्स, और टेक्निकल कॉन्टैक्ट सेंटर ओनर्स जो किसी ASR वेंडर को चुन रहे हैं या ट्यून कर रहे हैं।
पूर्वापेक्षाएँ (Prerequisites):
दो या अधिक प्रोवाइडर्स के लिए API क्रेडेंशियल्स (इस गाइड में Google Cloud Speech-to-Text V2, Azure Speech, AWS Transcribe, Deepgram, AssemblyAI, और Smallest AI Pulse का उपयोग किया गया है)
Python 3.9+ जिसमें
jiwerऔरpandasइंस्टॉल होंऑडियो रूपांतरण के लिए
ffmpegऔरsoxमनुष्यों द्वारा ट्रांसक्राइब किया गया 3 से 5 घंटे का प्रतिनिधि ऑडियो प्राप्त करने का साधन
कठिनाई और समय: मध्यम। डेटा संग्रह और लेबलिंग के लिए एक से दो दिन, और स्क्रिप्टिंग व रन के लिए कुछ घंटे दें।
भारतीय अंग्रेजी जेनेरिक स्पीच मॉडल्स को क्यों विफल कर देती है
टेस्ट सेट बनाने से पहले, यह जान लें कि आपको किन व्यवहारों को इसमें शामिल करने की आवश्यकता है। "भारतीय अंग्रेजी" कोई एक लहजा (accent) नहीं है। यह वक्ताओं की पहली भाषा से प्रभावित कई प्रकारों का समूह है, और ASR त्रुटियाँ इन विशेषताओं के इर्द-गिर्द केंद्रित होती हैं:
फ़ोनीम प्रतिस्थापन (Phoneme substitutions): दंत्य और वर्त्स्य स्पर्श ध्वनियाँ (dental and alveolar stops) अक्सर मूर्धन्य (retroflexed) हो जाती हैं (उदाहरण के लिए, "three" और "tree" एक जैसे सुनाई दे सकते हैं), और /v/ व /w/ आपस में मिल सकते हैं।
व्यंजन गुच्छों (Consonant cluster) का उच्चारण: "school" को "iskool" के रूप में उच्चारित किया जा सकता है, जो डिकोडर के लिए शब्द सीमाओं को बदल देता है।
स्वर और बलाघात पैटर्न (Vowel and stress patterns): शब्दांश-समयबद्ध लय (syllable-timed rhythm) और अलग बलाघात स्थान यह बदलते हैं कि ध्वनिक मॉडल (acoustic models) शब्दों को कैसे विभाजित करते हैं।
कोड-मिक्सिंग (Code-mixing): वक्ता एक ही वाक्य के भीतर अंग्रेजी और हिंदी, तमिल, तेलुगु, बंगाली या मराठी के बीच स्विच करते हैं ("Mera account number bata dijiye, please")।
स्थानीय व्यक्तिवाचक संज्ञाएं (Local proper nouns): लोगों, शहरों और उत्पादों के नाम प्रशिक्षण डेटा में दुर्लभ होते हैं और ये सबसे अधिक गलत ट्रांसक्राइब होने वाले टोकन हैं।
टेलीफ़ोनी अपनी अलग समस्याएँ जोड़ती है। नैरोबैंड फ़ोन ऑडियो, कोडेक कम्प्रेशन, बैकग्राउंड नॉइज़ और क्रॉस-टॉक किसी भी मॉडल को ख़राब कर देते हैं, और लहजे-संवेदनशील मॉडलों को और भी अधिक प्रभावित करते हैं। इस साइट पर मौजूद contact center speech-to-text लेख उन ऑडियो स्थितियों को अधिक गहराई से कवर करता है।
कुल वर्ड एरर रेट (WER) इन कमियों को छिपा देता है। 9% समग्र WER वाला सिस्टम किसी एक क्षेत्रीय लहजे के समूह पर 20% तक जा सकता है, और जब तक आप स्लाइस के अनुसार रिपोर्ट नहीं करेंगे, तब तक आप इसे नहीं देख पाएंगे। इसी कारण से यह गाइड स्लाइस रिपोर्टिंग पर जोर देती है।
चरण 1: एक लेबल्ड टेस्ट सेट बनाएं जो आपके ऑडियो को दर्शाता हो
पहले अपना लक्ष्य परिभाषित करें। एक कॉल सेंटर बॉट, एक वीडियो डिक्टेशन टूल, और एक मोबाइल वॉइस-नोट फीचर प्रत्येक को अलग ऑडियो की आवश्यकता होती है, इसलिए किसी अन्य के डिस्ट्रीब्यूशन पर बेंचमार्क न करें।
डेटा को दो सेटों में विभाजित करें। 30 से 60 मिनट का एक कैलिब्रेशन सेट एकत्र करें, जिसका उपयोग आप शब्दावली और सेटिंग्स को ट्यून करने के लिए करेंगे। कई घंटों का एक अलग टेस्ट सेट एकत्र करें, जिसे आप केवल अंतिम स्कोरिंग के लिए उपयोग करेंगे। टेस्ट सेट पर कभी भी ट्यूनिंग न करें।
प्रत्येक कथन (utterance) को मेटाडेटा के साथ टैग करें। न्यूनतम रूप से, इन फ़ील्ड्स को रिकॉर्ड करें:
accent_group(उदाहरण के लिए, स्वयं बताई गई पहली भाषा या क्षेत्र)channel(telephony_8kयाwideband_16k)noise_tier(low,medium,high)code_mix(none,light,heavy)speaking_rate(slow,normal,fast)
स्लाइस को संतुलित करें। एक व्यावहारिक नियम के रूप में, प्रति एक्सेंट ग्रुप कम से कम 30 मिनट का ऑडियो, या कुछ सौ कथनों का लक्ष्य रखें। छोटे स्लाइस अस्थिर WER आँकड़े उत्पन्न करते हैं।
स्रोतों को मिलाएँ। जहाँ लाइसेंस अनुमति दें, वहाँ ओपन इंडियन इंग्लिश कॉर्पोरा से शुरुआत करें, फिर अपनी स्वयं की रिकॉर्डिंग जोड़ें। ओपन डेटा में शायद ही कभी आपके उत्पाद के नाम या आपका टेलीफ़ोनी नॉइज़ प्रोफ़ाइल शामिल होता है।
सहमति प्राप्त करें। पुष्टि करें कि प्रत्येक वक्ता ने रिकॉर्डिंग और ट्रांसक्रिप्शन के लिए सहमति दी है, और एनोटेटर्स के साथ ऑडियो साझा करने से पहले व्यक्तिगत डेटा को हटा दें या मास्क कर दें।
एनोटेटर्स के शुरू करने से पहले लेबलिंग नियम लिखें
मेट्रिक्स तभी तुलनीय होते हैं जब संदर्भ (references) एक ही नियम का पालन करते हों। निर्णय लें और दस्तावेजित करें:
केसिंग: स्कोरिंग के लिए सभी को लोअरकेस करें।
विराम चिह्न: स्कोरिंग से बाहर रखा गया।
संख्याएँ: बोले गए रूप (spoken-form) में या अंक रूप (digit-form) में, कोई एक विकल्प (उदाहरण के लिए, "two thousand five hundred" बनाम "2500")।
कोड-मिश्रित अंश: हिंदी शब्दों को रोमन लिपि में या देवनागरी में ट्रांसक्राइब करें, कोई एक विकल्प चुनें और इसे हर जगह लागू करें।
डिस्फ़्लुएन्सीज़: "um", "uh", और फाल्स स्टार्ट्स को रखें या हटा दें।
चेकपॉइंट: आपके पास एक कैलिब्रेशन फ़ोल्डर, एक टेस्ट फ़ोल्डर, और एक CSV है जिसमें प्रति कथन एक पंक्ति है जिसमें फ़ाइल पाथ, संदर्भ ट्रांसक्रिप्ट और पाँच मेटाडेटा टैग शामिल हैं।
चरण 2: ऑडियो और आउटपुट फ़ॉर्मेट को मानकीकृत करें
प्रीप्रोसेसिंग में अंतर वेंडर्स के बीच के अंतर को प्रभावित कर सकता है, इसलिए पहले उन्हें ठीक करें।
सभी ऑडियो को एक फ़ॉर्मेट में बदलें। वाइडबैंड ऑडियो के लिए:
टेलीफ़ोनी स्लाइस के लिए टेलीफ़ोनी ऑडियो को उसके मूल 8 kHz पर रखें। इसे अपसैंपल करके वाइडबैंड न कहें। इसे एक अलग
channelटैग के रूप में उसी API के माध्यम से चलाएँ।वॉइस एक्टिविटी डिटेक्शन (VAD) के साथ लंबे मौन (silences) को ट्रिम करें ताकि स्ट्रीमिंग और बैच रन तुलनीय सेगमेंट देख सकें। कथनों को लगभग 30 सेकंड से कम रखें।
तय करें कि विराम चिह्न और इनवर्स टेक्स्ट नॉर्मलाइज़ेशन (ITN) कहाँ लागू होंगे। ITN इंजन के आधार पर "twenty five lakh" को "25 lakh" या "2500000" में बदल देता है। या तो प्रत्येक प्रोवाइडर पर फ़ॉर्मेटिंग को अक्षम करें और स्वयं सामान्यीकृत (normalise) करें, या इसे हर जगह सक्षम करें और स्कोरिंग के समय दोनों पक्षों को सामान्यीकृत करें।
चेतावनी: किसी एक प्रोवाइडर पर डायराइजेशन, स्मार्ट फ़ॉर्मेटिंग, या प्रोफ़ैनिटी फ़िल्टरिंग चालू करना और दूसरे पर नहीं करना टोकन स्ट्रीम को बदल देता है। प्रोवाइडर्स के बीच ऐसे हर फ़्लैग को स्थिर रखें, अन्यथा आपका WER डेल्टा सटीकता के बजाय कॉन्फ़िगरेशन को मापेगा।
चेकपॉइंट: टेस्ट सेट की प्रत्येक फ़ाइल में उसके channel ग्रुप के भीतर समान नमूना दर (sample rate) और चैनल लेआउट है, और आपके पास प्रति प्रोवाइडर उपयोग किए गए फ़ॉर्मेटिंग फ़्लैग्स की एक लिखित सूची है।
चरण 3: सही लोकेल और मॉडल के साथ बेसलाइन चलाएं
आपका पहला पास किसी कस्टमाइज़ेशन का उपयोग नहीं करता है। इसका काम en-IN पर आउट-ऑफ़-द-बॉक्स प्रदर्शन दिखाना है, इसलिए पुष्टि करें कि प्रत्येक अनुरोध में भारतीय अंग्रेजी लोकेल और आपके लिए उपलब्ध नवीनतम ट्रांसक्रिप्शन मॉडल का नाम हो।
प्रोवाइडर बेसलाइन
Google Cloud Speech-to-Text V2 Chirp 3 मॉडल (chirp_3) के माध्यम से en-IN का समर्थन करता है। Chirp 3 क्षेत्रीय है, इसलिए कोई पहचानकर्ता (recognizer) बनाने से पहले जाँच लें कि कौन से स्थान इसे प्रदान करते हैं।
Azure Speech en-IN लोकेल का समर्थन करता है। Speech SDK या REST API में, पहचान भाषा को en-IN पर सेट करें।
AWS Transcribe भाषा कोड के रूप में en-IN स्वीकार करता है:
Deepgram भाषा को एक क्वेरी पैरामीटर के रूप में लेता है। इसके भाषा दस्तावेज़ में सटीक मॉडल और en-IN उपलब्धता की पुष्टि करें:
AssemblyAI एक एसिंक्रोनस जॉब का उपयोग करता है। अंग्रेजी भाषा-कोड विकल्पों और कौन से स्पीच मॉडल उपलब्ध हैं, इसके लिए इसके वर्तमान दस्तावेज़ देखें:
Smallest AI एकीकृत रूट्स के माध्यम से स्पीच-टू-टेक्स्ट प्रदान करता है: बैच के लिए POST /waves/v1/stt/ और स्ट्रीमिंग के लिए WS /waves/v1/stt/live, जिसमें मॉडल को ?model= क्वेरी पैरामीटर द्वारा चुना जाता है। Pulse सामान्य प्रयोजन वाला स्पीच-टू-टेक्स्ट मॉडल है, और Pulse Pro केवल-अंग्रेजी बैच सटीकता को लक्षित करता है। सटीक मॉडल पहचानकर्ता और अनुरोध पैरामीटर Smallest AI Waves दस्तावेज़ से प्राप्त करें।
यदि आप Speechmatics का उपयोग करते हैं, तो इसके अंग्रेजी भाषा पैक को transcription_config में सेट करें और यही प्रक्रिया लागू करें।
प्रत्येक प्रोवाइडर के माध्यम से पूरा कैलिब्रेशन और टेस्ट सेट चलाएं, और रॉ ट्रांसक्रिप्ट को provider/run_id/utt_id.txt के रूप में सहेजें।
चेकपॉइंट: आपके पास प्रति प्रोवाइडर प्रति कथन एक ट्रांसक्रिप्ट है, और प्रत्येक रन के लिए उपयोग किए गए मॉडल, लोकेल और फ़्लैग्स को रिकॉर्ड करने वाला एक लॉग है।
चरण 4: WER के साथ स्कोर करें, फिर परिणामों को स्लाइस करें
समग्र WER पहले आता है, लेकिन निर्णय स्लाइस से होता है।
सामान्यीकृत करें और गणना करें
प्रति-कथन WERs का औसत निकालने के बजाय प्रत्येक समूह में संचित (pooled) शब्दों पर WER की गणना करें। अन्यथा छोटे कथन औसत पर हावी हो जाएंगे।
WER से परे त्रुटि स्लाइस को ट्रैक करें
लक्षित गणनाएँ जोड़ें ताकि आप देख सकें कि कोई प्रोवाइडर क्यों विफल होता है:
व्यक्तिवाचक संज्ञाएं: संदर्भ नामों का वह हिस्सा जो गलत ट्रांसक्राइब हुआ था।
संख्याएँ: खाता संख्याएँ, राशियाँ, तारीखें और फ़ोन नंबर, जिन्हें बोले गए और अंक रूपों को सामान्यीकृत करने के बाद स्कोर किया गया है।
कोड-मिश्रित अंश:
code_mix = heavyके रूप में टैग किए गए कथनों तक सीमित WER।उच्च-शोर खंड: WER जहाँ
noise_tier = highहो।
यदि आप एक कस्टम मॉडल को प्रशिक्षित करने की योजना बना रहे हैं, तो ध्यान दें कि Azure का Custom Speech मूल्यांकन WER और टोकन एरर रेट (TER) की रिपोर्ट करता है, जिसे इंसर्शन, डिलीशन और प्रतिस्थापन (substitutions) में विभाजित किया जाता है। यह विवरण किसी भी प्रोवाइडर के लिए उपयोगी है, क्योंकि इंसर्शन अक्सर शोर की ओर और प्रतिस्थापन लहजे के भ्रम की ओर इशारा करते हैं।
सारांश तालिका बनाएं
अपने स्वयं के रनों से इस टेम्पलेट को भरें:
प्रोवाइडर | समग्र WER | सबसे खराब लहजा-स्लाइस WER | टेलीफ़ोनी WER | संख्या त्रुटि दर | व्यक्तिवाचक संज्ञा त्रुटि दर |
|---|---|---|---|---|---|
प्रोवाइडर A | रन से | रन से | रन से | रन से | रन से |
प्रोवाइडर B | रन से | रन से | रन से | रन से | रन से |
प्रोवाइडर्स को सबसे खराब-स्लाइस WER और उस स्लाइस के आधार पर रैंक करें जो आपके व्यवसाय से मेल खाता है, केवल समग्र WER द्वारा नहीं। वेंडर द्वारा प्रकाशित संख्याएँ, जिनमें Pulse Pro के लिए Smallest AI का रिपोर्ट किया गया 5.42% औसत अंग्रेजी WER शामिल है, वेंडर के अपने परीक्षण सेट से आती हैं। वे किसी मॉडल को आपकी शॉर्टलिस्ट में शामिल करने का एक कारण हैं, और वे en-IN ऑडियो पर आपके स्वयं के मापन का विकल्प नहीं हैं। अन्य प्रोवाइडर्स के संदर्भ के लिए, इस साइट पर best speech-to-text APIs in 2026 परीक्षण देखें।
चेकपॉइंट: आप प्रत्येक प्रोवाइडर के लिए, इसके समग्र WER, इसके सबसे खराब लहजे-स्लाइस WER, और बेसलाइन कॉन्फ़िगरेशन पर इसकी संख्या और व्यक्तिवाचक संज्ञा त्रुटि दरों को बता सकते हैं।
चरण 5: प्रत्येक प्रोवाइडर के कस्टमाइज़ेशन नियंत्रण लागू करें
कस्टमाइज़ेशन वह जगह है जहाँ भारतीय अंग्रेजी की सटीकता आमतौर पर सबसे अधिक सुधरती है, क्योंकि यह उन दुर्लभ शब्दों को लक्षित करती है जिन्हें जेनेरिक मॉडल छोड़ देते हैं। केवल कैलिब्रेशन सेट से शब्द सूची बनाएं: उत्पाद के नाम, शाखा और शहर के नाम, एजेंट स्क्रिप्ट, और ट्रांसक्रिप्ट में सामान्य हिंदी के ऋणशब्द (loanwords)। टेस्ट सेट से कभी भी शब्द न जोड़ें।
Google Cloud Speech-to-Text
अनुकूलन (adaptation) के लिए इनलाइन फ्रेज सेट का उपयोग करें। क्या कोई दिया गया मॉडल और क्षेत्र अनुकूलन स्वीकार करता है, यह अलग-अलग हो सकता है, इसलिए पहले अपने मॉडल के लिए फीचर तालिका देखें और यदि आप मॉडल बदलते हैं तो पुनः परीक्षण करें।
Azure Speech
Azure Custom Speech आपको टेक्स्ट और ऑडियो पर प्रशिक्षित करने, मॉडलों के बीच सटीकता की तुलना करने और विजेता मॉडल को एक कस्टम एंडपॉइंट पर तैनात करने की अनुमति देता है। अपने कैलिब्रेशन ट्रांसक्रिप्ट को प्रशिक्षण डेटा के रूप में अपलोड करें, एक अलग सेट के विरुद्ध मूल्यांकन करें, और अपने पहचानकर्ता को en-IN लोकेल के साथ कस्टम एंडपॉइंट पर इंगित करें।
AWS Transcribe
एक टेबल फ़ाइल के साथ एक कस्टम शब्दावली बनाएं। Phrase कॉलम आवश्यक है, और SoundsLike व IPA कॉलम बहिष्कृत और अनदेखा कर दिए गए हैं। बहु-शब्द वाक्यांश में शब्दों को जोड़ने के लिए हाइफ़न का उपयोग करें। फ़ाइल को टैब-डिलिमिटेड सहेजें:
Deepgram
मुख्य शब्दों को दोहराए गए क्वेरी पैरामीटर (की-टर्म प्रॉम्प्टिंग) के रूप में पास करें। इसके दस्तावेज़ों में पुष्टि करें कि कौन से मॉडल इस सुविधा का समर्थन करते हैं।
AssemblyAI
बूस्टिंग के लिए keyterms_prompt और आउटपुट में मनचाही वर्तनी लागू करने के लिए custom_spelling का उपयोग करें। keyterms_prompt की उपलब्धता स्पीच मॉडल पर निर्भर करती है, इसलिए वर्तमान दस्तावेज़ देखें।
Speechmatics
Speechmatics transcription_config के अंदर additional_vocab के माध्यम से एक कस्टम डिक्शनरी का समर्थन करता है, जहाँ प्रत्येक प्रविष्टि में एक content फ़ील्ड और वैकल्पिक sounds_like संकेत होते हैं। अपनी शब्द सूची वहाँ जोड़ें और इसे अन्य सभी प्रोवाइडर्स की तरह स्कोर करें।
Smallest AI Pulse
Pulse के प्रोडक्शन फीचर सेट में कीवर्ड और वोकैबुलरी बूस्टिंग, कोड-स्विचिंग, ITN, डायराइजेशन, वर्ड और सेंटेंस टाइमस्टैम्प्स, और PII/PCI रिडेक्शन शामिल हैं। Pulse 38 भाषाओं को भी कवर करता है, जो तब मायने रखता है जब आपके भारतीय अंग्रेजी ट्रैफ़िक में कोड-मिश्रित भाषण शामिल हो। Waves दस्तावेज़ में पैरामीटर नामों का उपयोग करके कीवर्ड बूस्टिंग सक्षम करें, और उसी कैलिब्रेशन सेट को फिर से चलाएं।
चेतावनी: एक लंबी बूस्ट सूची साधारण शब्दों को आपके शब्दों की ओर खींचकर सटीकता को कम कर सकती है। 20 से 50 उच्च-मूल्य वाले शब्दों से शुरुआत करें, मापें, और संख्या में सुधार होने पर ही विस्तार करें।
डेल्टा मापें
कस्टमाइज़ेशन चालू करके टेस्ट सेट को फिर से चलाएं, और प्रति प्रोवाइडर व प्रति स्लाइस परिवर्तन की गणना करें:
प्रयोग को तीन चरणों में चलाएं: बेसलाइन, फिर प्रीप्रोसेसिंग सुधार, फिर कस्टमाइज़ेशन। प्रत्येक चरण पर WER रिकॉर्ड करें ताकि आप जान सकें कि किस बदलाव का लाभ मिला। यदि कोई कस्टमाइज़ेशन व्यक्तिवाचक संज्ञा त्रुटि दर में सुधार करता है लेकिन किसी स्लाइस पर WER को खराब करता है, तो आपको एक ऐसा ट्रेड-ऑफ़ मिला है जिस पर निर्णय लेने की आवश्यकता है, न कि डिफ़ॉल्ट रूप से स्वीकार करने की।
चेकपॉइंट: आपके पास प्रति प्रोवाइडर पहले और बाद की WER तालिका है, जिसमें स्लाइस-स्तरीय डेल्टा और प्रत्येक प्रोवाइडर की सबसे बड़ी शेष विफलता प्रकार पर कम से कम एक नोट है।
चरण 6: शिप करने से पहले क्वालिटी गेट्स सेट करें
बेंचमार्क को उन नियमों में बदलें जिन्हें पाइपलाइन लागू करती है:
आपके द्वारा सेवा दिए जाने वाले प्रत्येक लहजे समूह के लिए अधिकतम स्वीकार्य सबसे खराब-स्लाइस WER।
एक न्यूनतम ऑडियो गुणवत्ता जाँच (सैंपल रेट, क्लिपिंग, सिग्नल-टू-नॉइज़ अनुमान) जो खराब ऑडियो को फ़ॉलबैक पाथ पर भेजती है।
एक कॉन्फिडेंस थ्रेशोल्ड जिसके नीचे आने पर ट्रांसक्रिप्ट मानवीय समीक्षा के लिए जाता है। इसे कैलिब्रेशन सेट पर कैलिब्रेट करें, क्योंकि विभिन्न प्रोवाइडर्स के बीच कॉन्फिडेंस स्केल भिन्न होते हैं।
एक निश्चित ट्रांसक्रिप्ट फ़ॉर्मेटिंग नीति (ITN और विराम चिह्न), ताकि वेंडर बदलने पर डाउनस्ट्रीम पार्सर्स क्रैश न हों।
चरण 7: कटओवर से पहले लेटेंसी, प्राइवेसी और डिप्लॉयमेंट की जाँच करें
अकेले सटीकता किसी प्रोवाइडर को प्रोडक्शन के लिए योग्य नहीं बनाती है। उसी ऑडियो के साथ इनकी जाँच करें:
लेटेंसी: स्ट्रीमिंग एंडपॉइंट पर पहले टोकन का समय (Smallest AI के लिए,
WS /waves/v1/stt/live) और बैच पर कुल टर्नअराउंड समय मापें। p50 और p95 रिपोर्ट करें, औसत नहीं। Smallest AI Pulse के लिए गति और लेटेंसी बेंचमार्क की रिपोर्ट करता है, जिसमें Sierra द्वारा MuBench पर परिणाम शामिल हैं, जिन्हें आपको अपने स्वयं के नेटवर्क पथ पर सत्यापित करना चाहिए।समवर्तीता (Concurrency): अपने अपेक्षित पीक पर 50 से 100 समवर्ती (simultaneous) स्ट्रीम चलाएं और लोड के तहत रेट लिमिट, ड्रॉप किए गए सॉकेट्स और WER परिवर्तनों पर नज़र रखें।
क्षेत्र चयन (Region selection): अपने ट्रैफ़िक के करीब एक API क्षेत्र चुनें, और पुष्टि करें कि चुना गया मॉडल वहाँ उपलब्ध है। उदाहरण के लिए, Chirp 3 हर स्थान पर उपलब्ध नहीं है।
गोपनीयता और अनुपालन: दस्तावेजित करें कि ऑडियो कहाँ प्रोसेस किया जाता है, इसे कितने समय तक रखा जाता है, क्या इसका उपयोग प्रशिक्षण के लिए किया जाता है, और PII व भुगतान डेटा के लिए क्या रिडेक्शन मौजूद है। अपने वर्कफ़्लो में रिकॉर्डिंग और ट्रांसक्रिप्शन के लिए सहमति की पुष्टि करें। Smallest AI ISO 27001, SOC 2 Type 2, GDPR, और HIPAA अनुपालन के साथ-साथ एंटरप्राइज वातावरण के लिए ऑन-प्रेम विकल्प सूचीबद्ध करता है, इसलिए अपनी शॉर्टलिस्ट में दूसरों के मुकाबले उन नियंत्रणों की तुलना करें।
चरण 8: लॉन्च के बाद सटीकता की निगरानी करें
मॉडल, कॉल करने वाले और ऑडियो पाथ सभी समय के साथ बदलते (drift) हैं। इन्हें लागू करें:
लाइव WER सैंपलिंग: प्रत्येक सप्ताह कॉल का एक रैंडम 0.5 से 1% हिस्सा मानव समीक्षकों को भेजें, जिसे आपके टेस्ट सेट के समान मेटाडेटा के साथ टैग किया गया हो।
ड्रिफ्ट अलर्ट: कम कॉन्फिडेंस वाले ट्रांसक्रिप्ट के अनुपात, औसत SNR, और टेलीफ़ोनी बनाम वाइडबैंड ऑडियो के मिश्रण पर नज़र रखें।
लक्षित त्रुटि दरें: संख्या और व्यक्तिवाचक संज्ञा त्रुटि दरों पर अलर्ट सेट करें, क्योंकि ये डाउनस्ट्रीम में सबसे महंगी गलतियों का कारण बनती हैं।
रोलबैक: बेसलाइन कॉन्फ़िगरेशन को वर्ज़न में रखें, और प्रत्येक कस्टमाइज़ेशन को एक फीचर फ़्लैग के पीछे रखें, ताकि आप मिनटों में खराब शब्दावली अपडेट को बंद कर सकें।
समीक्षित ट्रांसक्रिप्ट से त्रैमासिक रूप से शब्द सूची को ताज़ा करें, और जब भी कोई वेंडर नया मॉडल जारी करे, तो पूरा बेंचमार्क फिर से चलाएं।
सामान्य समस्याओं का निवारण (Troubleshooting)
प्रत्येक प्रोवाइडर पर WER अधिक है। पहले अपने संदर्भों (references) की जाँच करें। असंगत संख्या या कोड-मिक्स नियम हर जगह त्रुटि को बढ़ा देते हैं। 50 कथनों का नमूना लें और संदर्भ की परिकल्पना (hypothesis) से मैन्युअल रूप से तुलना करें।
एक लहजा समूह बाकी की तुलना में कहीं अधिक खराब है। उस स्लाइस के ऑडियो की जाँच करें। इसमें लहजे के बजाय एक समान चैनल प्रकार या शोर स्तर हो सकता है। यह निष्कर्ष निकालने से पहले कि यह लहजे का प्रभाव है, समान channel और noise_tier के भीतर WER की तुलना करें।
कस्टमाइज़ेशन ने WER को और खराब कर दिया। आपकी शब्द सूची शायद बहुत लंबी है या इसमें सामान्य शब्द शामिल हैं। इसे दुर्लभ शब्दों तक सीमित करें और कैलिब्रेशन सेट पर फिर से परीक्षण करें।
अच्छे मॉडल के बावजूद टेलीफ़ोनी परिणाम खराब दिखते हैं। पुष्टि करें कि आपने 8 kHz ऑडियो को अपसैंपल नहीं किया है, और जाँचें कि क्या प्रोवाइडर टेलीफ़ोनी-ट्यून किया गया मॉडल या सेटिंग प्रदान करता है।
स्ट्रीमिंग परिणाम बैच से मेल नहीं खाते हैं। एंडपॉइंटिंग और आंशिक-परिणाम हैंडलिंग भिन्न होते हैं। केवल अंतिम ट्रांसक्रिप्ट को स्कोर करें, और स्ट्रीमिंग और बैच का अलग-अलग कॉन्फ़िगरेशन के रूप में मूल्यांकन करें।
संख्याओं को त्रुटियों के रूप में स्कोर किया जाता है, भले ही वे सही सुनाई देती हों। आपके संदर्भ और परिकल्पना विभिन्न संख्या रूपों का उपयोग करते हैं। दोनों पक्षों को सामान्यीकृत करें, या समान रूप से ITN सक्षम करें।
आपने क्या हासिल किया है और आगे क्या करना है
अब आपके पास एक लेबल्ड en-IN टेस्ट सेट, एक सामान्यीकृत स्कोरिंग स्क्रिप्ट, प्रति प्रोवाइडर बेसलाइन और कस्टमाइज़्ड परिणाम, लहजे-विशिष्ट विफलताओं को उजागर करने वाली स्लाइस-स्तरीय रिपोर्टिंग, और एक परिनियोजन व निगरानी योजना है। "भारतीय अंग्रेजी लहजों के लिए कौन सा स्पीच-टू-टेक्स्ट API सबसे सटीक है" का उत्तर वह है जो स्वीकार्य लेटेंसी पर आपके सबसे खराब-स्लाइस WER पर जीतता है, और अब आप डेटा के साथ उस विकल्प का बचाव कर सकते हैं।
अगले कदम:
Pulse और Pulse Pro को अपनी शॉर्टलिस्ट में जोड़ें और उन्हें चरण 3 से 5 तक चलाएं, केवल-अंग्रेजी बैच जॉब्स के लिए Pulse Pro का उपयोग करें जहाँ सटीकता लेटेंसी से अधिक महत्वपूर्ण है और रीयल-टाइम वॉइस वर्कलोड के लिए Pulse का उपयोग करें।
प्रोडक्शन समीक्षा में पाए गए सबसे कठिन कथनों के साथ टेस्ट सेट का विस्तार करें।
यदि आपकी टीम को पाइपलाइन घटकों के लिए साझा शब्दावली की आवश्यकता है, तो automatic speech recognition पर प्राइमर पढ़ें।
एक निश्चित शेड्यूल पर फिर से बेंचमार्क करें, और परिणाम फ़ाइल को वर्ज़न कंट्रोल के तहत रखें ताकि प्रत्येक प्रोवाइडर परिवर्तन का एक मापने योग्य पहले और बाद का रिकॉर्ड हो।
अक्सर पूछे जाने वाले प्रश्न
भारतीय अंग्रेज़ी के लिए कौन-सा स्पीच-टू-टेक्स्ट API सबसे अच्छा है?
मुझे किसी वेंडर के समर्थित-भाषाओं वाले पेज पर भरोसा क्यों नहीं करना चाहिए?
एक ASR API का मूल्यांकन करने के लिए मुझे कितनी ऑडियो फ़ाइलों की आवश्यकता होगी?
क्या मुझे टेलीफोनी और वाइडबैंड ऑडियो की अलग-अलग निगरानी करनी चाहिए?
क्या मैं सामान्य वेंडर सेटिंग्स से क्षेत्रीय त्रुटियों (रीजनल एरर्स) को ठीक कर सकता हूँ?
