मॉडल लेटेंसी क्या है?
मॉडल लेटेंसी (Model latency) उस देरी को मापती है जो एक मशीन लर्निंग मॉडल द्वारा इनपुट को प्रोसेस करने और प्रेडिक्शन या रिस्पॉन्स जनरेट करने के दौरान होती है। वॉयस एआई (Voice AI) पाइपलाइनों में, यह मीट्रिक बेहद महत्वपूर्ण है क्योंकि थोड़ी सी भी देरी (दहाई मिलीसेकंड की) बातचीत के स्वाभाविक प्रवाह को बाधित कर सकती है और उपयोगकर्ता अनुभव को खराब कर सकती है।
मॉडल लेटेंसी, नेटवर्क लेटेंसी या एंड-टू-एंड लेटेंसी से अलग होती है। यह विशेष रूप से निम्नलिखित चरणों में लगने वाले समय को रिकॉर्ड करती है:
प्रीप्रोसेसिंग (Preprocessing): इनफेरेंस (inference) शुरू होने से पहले टोकनाइजेशन, फीचर एक्सट्रैक्शन, या ऑडियो एन्कोडिंग।
इनफेरेंस कंप्यूटेशन (Inference computation): न्यूरल नेटवर्क के माध्यम से फॉरवर्ड पास, जहाँ आउटपुट जनरेट करने के लिए वेट्स (weights) लागू किए जाते हैं।
पोस्टप्रोसेसिंग (Postprocessing): टोकन को डिकोड करना, बीम सर्च लागू करना, या मॉडल आउटपुट को टेक्स्ट या ऑडियो जैसे उपयोगी परिणामों में बदलना।
एआई नेटवर्क में मॉडल लेटेंसी क्यों महत्वपूर्ण है
सेवा की गुणवत्ता बनाए रखने के लिए मॉडल लेटेंसी की निगरानी करना आवश्यक है। स्पीच रिकग्निशन और टेक्स्ट-टू-स्पीच जैसे रियल-टाइम एप्लिकेशन्स में, अधिक लेटेंसी के कारण ध्यान देने योग्य ठहराव आते हैं जो बातचीत के प्रवाह को तोड़ देते हैं। हजारों समवर्ती (concurrent) अनुरोधों को संभालने वाले प्रोडक्शन सिस्टम के लिए, लेटेंसी में अचानक वृद्धि होने से कतारें (queue) बढ़ सकती हैं और थ्रूपुट (throughput) कम हो सकता है।
मॉडल लेटेंसी को प्रभावित करने वाले कारक
मॉडल आर्किटेक्चर और आकार
अधिक पैरामीटर्स वाले बड़े मॉडलों (जैसे लार्ज लैंग्वेज मॉडल्स) में आमतौर पर लेटेंसी अधिक होती है। मॉडल डिस्टिलेशन, क्वांटाइजेशन और प्रूनिंग जैसी तकनीकें पैरामीटर काउंट को कम करती हैं और इनफेरेंस को तेज करती हैं।
हार्डवेयर और इंफ्रास्ट्रक्चर
GPU का प्रकार, मेमोरी बैंडविड्थ और बैच साइज सभी लेटेंसी को प्रभावित करते हैं। अमेज़ॅन बेडरॉक (Amazon Bedrock) जैसे क्लाउड प्लेटफॉर्म लेटेंसी-ऑप्टिमाइज़्ड इनफेरेंस कॉन्फ़िगरेशन प्रदान करते हैं जो तेज़ रिस्पॉन्स समय के लिए ट्यून किए गए हार्डवेयर और रनटाइम सेटिंग्स का चयन करते हैं।
सर्विंग कॉन्फ़िगरेशन (Serving Configuration)
बैचिंग रणनीतियाँ, सहमति (concurrency) सीमाएं, और कैशिंग लेयर्स इस बात को प्रभावित करती हैं कि अलग-अलग अनुरोधों को कितनी जल्दी प्रोसेस किया जाता है। स्ट्रीमिंग आउटपुट्स (जैसे ही वे जनरेट होते हैं, आंशिक परिणाम देना) महसूस होने वाली लेटेंसी को कम कर सकते हैं, भले ही कुल कंप्यूटेशन समय अपरिवर्तित रहे।
LLM लेटेंसी बेंचमार्क और मॉनिटरिंग
LLM लेटेंसी बेंचमार्क आमतौर पर टाइम टू फर्स्ट टोकन (TTFT) और टोकन प्रति सेकंड जैसे मीट्रिक रिपोर्ट करते हैं। OpenAI जैसे प्रदाता लेटेंसी स्टेटस पेज प्रकाशित करते हैं ताकि डेवलपर्स रियल-टाइम प्रदर्शन को ट्रैक कर सकें। प्लेटफॉर्म का मूल्यांकन करते समय, औसत के बजाय P50, P95 और P99 लेटेंसी परसेंटाइल की तुलना करें, क्योंकि लोड के तहत टेल लेटेंसी (tail latency) ही अक्सर उपयोगकर्ता अनुभव को निर्धारित करती है।
मॉडल लेटेंसी को कम करना
सामान्य ऑप्टिमाइज़ेशन रणनीतियों में छोटे या डिस्टिल्ड मॉडल वेरिएंट का चयन करना, हार्डवेयर एक्सेलेरेशन सक्षम करना, लेटेंसी-ऑप्टिमाइज़्ड इनफेरेंस मोड का उपयोग करना (जैसा कि अमेज़ॅन बेडरॉक जैसी सेवाओं द्वारा पेश किया जाता है), एज इनफेरेंस के माध्यम से मॉडल को अंतिम उपयोगकर्ताओं के करीब तैनात करना, और ऑटोरिग्रेसिव मॉडल के लिए स्पेक्युलेटिव डिकोडिंग लागू करना शामिल है।