रीयल-टाइम वॉयस एआई में नवीनतम प्रगति के बीच, OpenAI का gpt-realtime एक प्रोडक्शन-रेडी स्पीच-टू-स्पीच सिस्टम के रूप में सामने आता है, जिसे पारंपरिक कैस्केडेड पाइपलाइनों को बदलने के लिए डिज़ाइन किया गया है।
यह अध्ययन महत्वपूर्ण आयामों में एक व्यापक मूल्यांकन प्रदान करता है: लेटेंसी (विलंबता), व्यवधान, शोर प्रतिरोध, आवाज स्थिरता, मेमोरी, भाषा परिवर्तन, टूल-कॉलिंग और स्केलेबिलिटी।

एक प्रतिलिपि प्रस्तुत करने योग्य परीक्षण हार्नेस का उपयोग करते हुए, हमने विभिन्न स्थितियों—लघु बातचीत, लंबी बातचीत, शोर-शराबे वाले वातावरण और बहुभाषी बदलावों में नियंत्रित कॉल का संचालन किया।
उद्देश्य स्पष्ट है: यह स्थापित करना कि gpt-realtime आज विश्वसनीय रूप से क्या हासिल कर सकता है, यह कहाँ उत्कृष्ट है, और इसकी सीमाएँ कहाँ बनी हुई हैं।

निष्कर्ष नियंत्रित परीक्षणों, मैन्युअल एनोटेशन और एकल परीक्षण वातावरण पर आधारित हैं। विभिन्न नेटवर्कों में व्यापक सत्यापन, बड़े नमूना आकार और स्वचालित मेट्रिक्स वास्तविक दुनिया की स्थितियों के लिए अधिक सुदृढ़ सामान्यीकरण प्रदान करेंगे।

लेटेंसी (विलंबता)

पद्धति
लेटेंसी को बोले गए इनपुट के अंत और मॉडल की ऑडियो प्रतिक्रिया की शुरुआत के बीच उपयोगकर्ता द्वारा महसूस की गई देरी के रूप में परिभाषित किया गया था।

सभी प्रयोगों में gpt-realtime मॉडल (सितंबर 2025 में परीक्षण किया गया) का उपयोग किया गया। स्थिर ब्रॉडबैंड स्थितियों के तहत टेलीफोनी के साथ एकीकृत एक स्थानीय मशीन पर भारत से कॉल किए गए थे।

कॉल के दो सेट किए गए थे। पहले सेट में पांच मध्यम लंबाई की कॉल शामिल थीं, जिनमें से प्रत्येक लगभग 2.7 मिनट की थी, जिसमें कुल 30 संवादात्मक मोड़ (turns) शामिल थे। दूसरे सेट में 10-12 मिनट की पांच लंबी कॉल शामिल थीं, जिसमें कुल 60 मोड़ शामिल थे। प्रत्येक कॉल के लिए, ऑडियो स्ट्रीम कैप्चर किए गए थे और प्रति-मोड़ लेटेंसी की गणना करने के लिए ऑडेसिटी (Audacity) का उपयोग करके मोड़ सीमाओं को मैन्युअल रूप से एनोटेट किया गया था। लंबे समय तक बातचीत के दौरान स्थिरता का आकलन करने के लिए पांच मिनट से अधिक की अतिरिक्त कॉल की गईं।

परिणाम
मध्यम कॉल (5 कॉल, 30 मोड़): औसत मोड़ लेटेंसी 2.24 सेकंड थी, अधिकतम 4.05 सेकंड के साथ।
लंबी कॉल (5 कॉल, 60 मोड़): औसत मोड़ लेटेंसी 3.4 सेकंड थी, अधिकतम 6.7 सेकंड के साथ।

विश्लेषण
सिस्टम संक्षिप्त बातचीत में प्रतिक्रियाशील महसूस कराता है, लेकिन लंबी बातचीत के दौरान लेटेंसी स्पाइक्स अधिक स्पष्ट होते हैं। हालांकि समग्र संवादात्मक तरलता बनी रहती है, फिर भी उत्पादन वर्कलोड के लिए पूर्वानुमानशीलता एक महत्वपूर्ण कारक बन जाती है, विशेष रूप से लंबी बातचीत में।

सीमाएँ
ये माप मैन्युअल एनोटेशन और एकल परीक्षण वातावरण पर आधारित थे। विभिन्न नेटवर्क स्थितियों में व्यापक सत्यापन और स्वचालित टाइमस्टैम्पिंग से निष्कर्षों को और मजबूती मिलेगी।

संवादात्मक प्रवाह और व्यवधान

पद्धति
लगभग 20 परीक्षण कॉलों (15 लघु, 5 लंबी, 3 प्रवाह) में, नाम स्पष्टीकरण से लेकर बीच-वाक्य में अचानक हस्तक्षेप तक, व्यवस्थित रूप से व्यवधान पेश किए गए थे। तीन अलग-अलग संवादात्मक प्रवाहों का परीक्षण किया गया:

• होटल बुकिंग

• वित्तीय सलाहकार परामर्श

• रियल एस्टेट लीड क्वालिफिकेशन

हमने तीन परिणामों को मापा:

• क्या सिस्टम सही प्रवाह पर वापस आ गया।

• उस सुधार की लेटेंसी।

• क्या कॉल का उद्देश्य अंततः पूरा हो गया था (उदा., बुकिंग की पुष्टि, वित्तीय प्रश्न का उत्तर, या लीड क्वालिफिकेशन)।

परिणाम
परिणाम बताते हैं कि परीक्षण किए गए सभी व्यवधानों में, सिस्टम एक ही मोड़ के भीतर संभल गया, जिससे संदर्भ और निर्देशों की सत्यता दोनों बनी रहीं।

नामों और पुष्टिकरण चरणों से जुड़े व्यवधानों को विशेष आसानी से संभाला गया। सबसे महत्वपूर्ण बात यह है कि तीनों प्रवाहों में हर परीक्षण कॉल में—जिसमें कई व्यवधान भी शामिल थे—सिस्टम ने इच्छित कॉल उद्देश्य को सफलतापूर्वक प्राप्त कर लिया।
सभी परीक्षण कॉलों में, सिस्टम का प्रवाह नहीं टूटा, और प्रत्येक कॉल उद्देश्य सफलतापूर्वक पूरा किया गया था।

विश्लेषण
ये परिणाम संवादात्मक प्रवाह को संभालने में बेहतर मजबूती के पुख्ता सबूत प्रदान करते हैं।

सीमाएँ
यद्यपि निष्कर्ष नियंत्रित स्थितियों और मैन्युअल एनोटेशन पर आधारित हैं, लेकिन नमूने का आकार और तीन अलग-अलग प्रवाहों (होटल बुकिंग, वित्तीय सलाहकार, और रियल एस्टेट क्वालिफिकेशन) का समावेश उन्हें एक विश्वसनीय शुरुआती संकेतक बनाता है।

प्रवाह का उदाहरण:

भाषा परिवर्तन हैंडलिंग

पद्धति
हमने दिए गए प्रॉम्प्ट के साथ प्रत्येक में 10 मोड़ों में बहुभाषी हैंडलिंग के लिए तीन परिदृश्यों का मूल्यांकन किया:

• हिंदी में स्पष्ट परिवर्तन - कॉलर स्पष्ट रूप से हिंदी का अनुरोध करता है (उदा., “क्या हम हिंदी में जारी रख सकते हैं?”)।

• अंग्रेजी में स्पष्ट रूप से वापस जाना - कॉलर स्पष्ट रूप से अंग्रेजी में वापस जाने का अनुरोध करता है।

• हिंदी में निहित (अप्रत्यक्ष) परिवर्तन - कॉलर स्पष्ट रूप से परिवर्तन का अनुरोध किए बिना हिंदी में जवाब देना शुरू कर देता है।

प्रॉम्प्ट

भाषा परिवर्तन हैंडलिंग

- यदि कॉलर कहता है “क्या हम हिंदी में जारी रख सकते हैं?” या हिंदी में उत्तर देता है, तो भविष्य के सभी संवादों (प्रश्नों, पुष्टिकरणों, बंद करने) के लिए हिंदी में स्विच करें।

- यदि कॉलर हिंदी में बोलना शुरू करता है, तो तुरंत हिंदी में स्विच करें और बाद के सभी मोड़ों के लिए हिंदी में जारी रखें।

परिणाम
स्पष्ट रूप से हिंदी में स्विच करने के परीक्षणों में, सफलता दर 10/10 थी।
स्पष्ट रूप से अंग्रेजी में वापस स्विच करने के परीक्षणों में, सफलता दर 10/10 थी।
हिंदी में निहित स्विच परीक्षणों में, सफलता दर 6/10 थी।
10 में से 4 निहित मामलों में, उपयोगकर्ता द्वारा हिंदी बोलने के बावजूद मॉडल ने अंग्रेजी में बोलना जारी रखा।

विश्लेषण
भाषा परिवर्तन के स्पष्ट निर्देश दिए जाने पर सिस्टम अत्यधिक विश्वसनीय है, लेकिन जब उपयोगकर्ता अप्रत्यक्ष बदलाव पर निर्भर करता है तो इसकी निरंतरता कमजोर हो जाती है। यह अंतर प्रॉम्प्ट की अपेक्षाओं और वास्तविक व्यवहार के बीच के अंतर को उजागर करता है।

सीमाएँ
निष्कर्ष छोटी नियंत्रित कॉलों पर आधारित हैं; स्वतः स्फूर्त बहुभाषी बातचीत में इसकी मजबूती का सत्यापन होना अभी बाकी है।

भाषा परिवर्तन के उदाहरण:

लंबी कॉल और सुरक्षा कवच (Guardrailing): संदर्भ बनाए रखना

पद्धति
हमने मेमोरी, रिकॉल और सुरक्षा कवच के पालन का मूल्यांकन करने के लिए बातचीत को पांच मिनट से अधिक बढ़ाया। टेलीफोनी पर कुल पांच कॉल की गईं, जिनकी औसत अवधि ~10 मिनट थी। इन कॉलों के दौरान, उपयोगकर्ता ने दायरे से बाहर की जानकारी (जैसे, सिस्टम प्रॉम्प्ट, मॉडल विवरण, उपयोगकर्ता प्रॉम्प्ट) के लिए बार-बार पूछताछ की।

परिणाम
सभी कॉलों में, एजेंट ट्रैक पर रहा और निर्धारित प्रवाह से विचलित नहीं हुआ।
सुरक्षा कवच (Guardrails) का सम्मान किया गया — इसने सिस्टम-स्तर के विवरणों को लीक नहीं किया।
लंबे समय तक अप्रासंगिक प्रश्नों के बावजूद, सिस्टम ने लगातार संदर्भ बनाए रखा और अंततः प्रवाह को पूरा होने तक पहुँचाया।
नामों और ईमेल्स को याद रखने की क्षमता (Recall) मजबूत रही।
5 मिनट के बाद लंबी कॉलों के दौरान लेटेंसी बढ़ गई, 5 मिनट से अधिक होने पर औसतन ~5-6 सेकंड प्रति मोड़ रही।

विश्लेषण
सिस्टम ने लंबी बातचीत में मजबूत लचीलापन दिखाया। बार-बार ध्यान भटकाने और विषय से इतर पूछताछ के बावजूद, यह इच्छित प्रवाह पर बना रहा, सुरक्षा कवच को सुरक्षित रखा, और बिना किसी भटकाव के बुकिंग प्रक्रिया को पूरा किया।

सीमाएँ
परिणाम एक वातावरण में 10 मिनट की कॉल तक सीमित हैं। लंबी या अलग स्थितियां भिन्न कमजोरियों को सामने ला सकती हैं।

लंबी कॉल का उदाहरण

टूल कॉलिंग

पद्धति
हमने प्रत्येक 2-3 मिनट की लगभग दस छोटी कॉलों में टूल-कॉलिंग व्यवहार का परीक्षण किया, जिसमें end_call और search_corpus दोनों पर ध्यान केंद्रित किया गया। search_corpus के लिए, हमने एक डमी नॉलेज बेस बनाया और मॉडल को उससे उत्तर खोजने का निर्देश दिया। प्रश्नों को यह सत्यापित करने के लिए इस नॉलेज बेस के विरुद्ध सरल स्ट्रिंग मिलान का उपयोग करके हल किया गया था कि मॉडल अनुरोधित जानकारी को सही ढंग से निकाल सकता है और प्रस्तुत कर सकता है या नहीं।

परिणाम
लक्ष्य पूरा होने से ट्रिगर होने वाले end_call के लिए, मॉडल ने सभी 15/15 मामलों में फंक्शन को सही ढंग से कॉल किया।
स्पष्ट उपयोगकर्ता अनुरोध द्वारा ट्रिगर होने वाले end_call के लिए, मॉडल 6/10 मामलों में सफल रहा लेकिन 4/10 मामलों में समाप्त करने के बजाय प्रवाह को जारी रखा।
उन सभी मामलों में जहाँ search_corpus की अपेक्षा थी, फंक्शन को सही ढंग से कॉल किया गया था।
एजेंट ने टूल कॉल ट्रिगर करने से पहले प्रासंगिक बुकिंग विवरणों को विश्वसनीय रूप से निकाला।
संवादात्मक प्रवाह सुचारू रहा, और टूल के उपयोग से प्राकृतिक संवाद नहीं टूटा।

विश्लेषण
टूल-कॉलिंग का प्रदर्शन आम तौर पर मजबूत था। बुकिंग प्रवाह पूरा होने पर सिस्टम ने लगातार end_call को निष्पादित किया, जो लक्ष्य-संचालित समाप्ति के लिए नियतात्मक (deterministic) व्यवहार दिखाता है। हालाँकि, समाप्त करने के स्पष्ट उपयोगकर्ता अनुरोधों का सम्मान करने में यह कम विश्वसनीय था, जहाँ यह कभी-कभी end_call को कॉल करने के बजाय संवाद जारी रखता था।

search_corpus के लिए कॉल्स सटीक और प्रासंगिक रूप से उपयुक्त थीं। कुल मिलाकर, सिस्टम ने कार्यात्मक निष्पादन के साथ प्राकृतिक बातचीत को संतुलित किया, हालांकि स्पष्ट समाप्ति अनुरोधों का सम्मान करने में कमी सुधार के क्षेत्र की ओर इशारा करती है।

सीमाएँ
परीक्षण सेट छोटा था और होटल बुकिंग पर केंद्रित था; पुष्टि के लिए व्यापक टूल परिदृश्यों की आवश्यकता है।

उदाहरण: 

विवरण: एजेंट चेक-इन/चेक-आउट समय और डीलक्स रूम के विवरण के लिए search_corpus को कॉल करता है, फिर बुकिंग की पुष्टि के बाद end_call करता है।

शोर और वक्ता लचीलापन (Speaker Resilience)

पद्धति
सभी परीक्षण स्पीकर मोड पर एक मोबाइल डिवाइस का उपयोग करके टेलीफोन कॉल पर आयोजित किए गए थे। दो शोर वाली स्थितियों का मूल्यांकन किया गया था:

• पृष्ठभूमि का शोर (सिंथेटिक स्रोत): विभिन्न पृष्ठभूमि ऑडियो (जैसे, यूट्यूब वीडियो, कस्टमर-केयर बकवास) के साथ पांच कॉल, कुल ~40 मोड़।

• अतिव्यापी (Overlapping) वास्तविक आवाज़ें: डिवाइस के पास अन्य लोगों के ज़ोर से बोलने के साथ पांच कॉल, जो प्रतिस्पर्धी मानवीय आवाज़ों का अनुकरण करती हैं।

परिणाम
पृष्ठभूमि शोर की स्थिति में, मॉडल ने आम तौर पर सिंथेटिक हस्तक्षेप को संभाल लिया। लगभग 6 मोड़ों में भ्रम की स्थिति देखी गई, जहाँ यह या तो अप्रत्याशित रूप से रुक गया या प्रवाह को तोड़ने वाले व्यवधानों की अनुमति दी।
अतिव्यापी आवाज़ों की स्थिति में, मॉडल अधिकांश मामलों (5/5 कॉल) में अतिव्यापी मानवीय आवाज़ों के बीच निरंतरता बनाए रखने में विफल रहा। यह अक्सर पूरे प्रवाह को दोहराता था और बातचीत में निरंतरता बनाए रखने में विफल रहता था।

विश्लेषण
सिस्टम सिंथेटिक शोर के प्रति मध्यम लचीलापन दिखाता है, जिसमें केवल कभी-कभार व्यवधान होता है। हालाँकि, अतिव्यापी मानवीय आवाज़ों में, मॉडल प्राथमिक कॉलर को प्रतिस्पर्धी वक्ताओं से अलग नहीं कर पाता है, जिससे संवाद प्रवाह टूट जाता है। यह संवेदनशीलता कई मानवीय आवाज़ों की उपस्थिति वाले अनियंत्रित वास्तविक दुनिया के वातावरण में तैनात किए जाने पर मजबूती की कमी को दर्शाती है।

सीमाएँ
परीक्षण स्पीकरफोन स्थितियों तक सीमित थे। हेडसेट या टेलीफोनी हार्डवेयर परिवर्तनों के साथ परिणाम भिन्न हो सकते हैं।

उदाहरण:

निष्कर्ष

OpenAI का रीयल-टाइम एपीआई दिखाता है कि रीयल-टाइम वॉयस एआई कितना आगे आ चुका है। बातचीत स्वाभाविक लगती है, व्यवधान आसानी से संभाले जाते हैं, और भाषाओं के बीच बदलाव पहले से कहीं अधिक सहज है। कई टीमों के लिए, यह आखिरकार वह डेमो-रेडी अनुभव प्रदान करता है जिसकी बराबरी करने के लिए पारंपरिक कैस्केडेड पाइपलाइनों को संघर्ष करना पड़ता था।

लेकिन यह त्रुटिहीन नहीं है। संरचित आउटपुट, लंबी बातचीत में स्थिरता, और बारीक नियंत्रणशीलता ऐसे क्षेत्र बने हुए हैं जिन पर नज़र रखनी होगी—विशेष रूप से लंबी बातचीत में लेटेंसी बढ़कर ~5-6 सेकंड हो जाती है।

Smallest Atoms पर उपलब्धता के साथ, आगे का रास्ता लचीला है। टीमें उद्यम-स्तर की विन्यास क्षमता (configurability), वर्कफ़्लो एकीकरण, और परिनियोजन (deployment) नियंत्रण के लिए Atoms का उपयोग करते हुए OpenAI की ताकतों का लाभ उठा सकती हैं। परिणाम: रीयल-टाइम वॉयस एआई जिसे बिना किसी समझौते के आपके उत्पाद और आपके ग्राहकों के अनुकूल मिश्रित, मिलान और ट्यून किया जा सकता है।