वॉयस एजेंटों को केवल उसी STT और TTS प्रदाता तक सीमित नहीं रहना चाहिए जो कोई फ़्रेमवर्क डिफ़ॉल्ट रूप से प्रदान करता है।

TEN Framework इसी विचार के इर्द-गिर्द बनाया गया है, जिससे ऑर्केस्ट्रेशन लेयर ट्रांसपोर्ट, स्टेट और रुकावटों (interruptions) को संभालती है, जबकि STT, LLM और TTS ग्राफ़ के आसानी से बदले जा सकने वाले हिस्से बने रहते हैं। इसीलिए हम यह घोषणा करते हुए बेहद उत्साहित हैं कि Smallest AI अब TEN Framework पर एक STT और TTS प्रदाता के रूप में उपलब्ध है, इसलिए यदि आप TEN पर निर्माण कर रहे हैं, तो हमारे स्पीच मॉडल अब केवल एक कॉन्फ़िगरेशन परिवर्तन की दूरी पर हैं।

TEN एजेंट डिक्लेरेटिव ग्राफ़ (declarative graphs) होते हैं। एक वॉयस एजेंट केवल नोड्स, RTC ट्रांसपोर्ट, STT, LLM और TTS का एक पाइपलाइन है, जिसे एक property.json फ़ाइल में परिभाषित किया जाता है। Smallest AI पर स्विच करने के लिए कोड को फिर से लिखने की आवश्यकता नहीं है। यह सिर्फ दो-लाइनों का एक कॉन्फ़िगरेशन परिवर्तन है।

TEN Framework क्या है?

TEN (ट्रांसफॉर्मेटिव एक्सटेंशन नेटवर्क का संक्षिप्त रूप) रीयल-टाइम, मल्टीमॉडल संवादात्मक वॉयस एजेंट बनाने के लिए एक ओपन-सोर्स फ़्रेमवर्क है। पाइपलाइन को हार्डकोड करने के बजाय, TEN एक एजेंट को एक्सटेंशन, RTC ट्रांसपोर्ट, स्पीच-टू-टेक्स्ट, एक LLM, टेक्स्ट-टू-स्पीच के ग्राफ़ के रूप में प्रस्तुत करता है, जिन्हें स्वतंत्र रूप से बदला जा सकता है।

यह एक्सटेंशन-आधारित आर्किटेक्चर ही इसका मुख्य उद्देश्य है। अपना STT प्रदाता बदलना चाहते हैं? बस एक addon फ़ील्ड को संपादित करें। प्रोजेक्ट के बीच में एक नई आवाज़ का परीक्षण करना चाहते हैं? प्रक्रिया वही है। TEN एक विज़ुअल एडिटर, TMAN Designer भी प्रदान करता है, जिससे आप JSON को छुए बिना ही ग्राफ़ को फिर से वायर कर सकते हैं।

इस इंटीग्रेशन के साथ, TEN पर निर्माण करने वाले डेवलपर्स अब इन्हें शामिल कर सकते हैं:

• रीयल-टाइम, स्ट्रीमिंग स्पीच-टू-टेक्स्ट के लिए Pulse

• कम-लेटेंसी, स्ट्रीमिंग टेक्स्ट-टू-स्पीच के लिए Lightning v3.1 और Lightning v3.1 Pro

यह इंटीग्रेशन क्यों महत्वपूर्ण है?

एक विशिष्ट TEN वॉयस पाइपलाइन इस तरह दिखती है:

माइक्रोफोन → RTC ट्रांसपोर्ट → STT → LLM → TTS → स्पीकर्स

प्रत्येक हॉप (hop) लेटेंसी बढ़ाता है, लेकिन स्पीच लेयर आमतौर पर वह जगह होती है जहाँ बातचीत धीमी या रोबोटिक लगने लगती है। यही वह हिस्सा है जिसे ऑप्टिमाइज़ करने में हमने सबसे अधिक समय बिताया है।

• Pulse (STT) 64ms टाइम-टू-फर्स्ट-टोकन और 38 भाषाओं के समर्थन के साथ रीयल-टाइम वेबसोकेट (WebSocket) एंडपॉइंट पर कनेक्ट होता है।

• Lightning (TTS) ऑडियो को वापस स्ट्रीम करता है जिसमें पहले ऑडियो चंक के लिए लगभग ~150ms का समय लगता है, इसलिए एजेंट लगभग उसी समय बोलना शुरू कर देता है जैसे ही LLM जनरेट करना शुरू करता है।

चूंकि दोनों TEN एक्सटेंशन (smallest_asr_python और smallest_tts_python) के रूप में प्रदर्शित हैं, इसलिए आपको कोई कस्टम इंटीग्रेशन तैयार करने की आवश्यकता नहीं है। आप बस दो addon फ़ील्ड्स को Smallest AI की ओर इंगित करते हैं और TEN के ग्राफ़ रनटाइम को बाकी काम संभालने देते हैं, जिसमें बार्ज-इन (barge-in) भी शामिल है: जब कोई उपयोगकर्ता बीच वाक्य में एजेंट को रोकता है, तो TEN स्वचालित रूप से TTS एक्सटेंशन को साफ़ कर देता है और चल रहे Lightning स्ट्रीम को रद्द कर देता है। किसी कस्टम रुकावट लॉजिक (interruption logic) की आवश्यकता नहीं है।

शुरुआत कैसे करें

TEN Framework के अंदर Smallest AI सेटअप करने में शुरू से अंत तक केवल कुछ ही मिनट लगते हैं।

चरण 1: TEN Framework क्लोन करें

git clone https://github.com/TEN-framework/ten-framework.git
cd

git clone https://github.com/TEN-framework/ten-framework.git
cd

git clone https://github.com/TEN-framework/ten-framework.git
cd

चरण 2: एनवायरनमेंट वेरिएबल्स कॉन्फ़िगर करें

.env.example को .env में कॉपी करें और अपनी कीज (keys) जोड़ें, जिसमें RTC ट्रांसपोर्ट के लिए एक Agora App ID, आपकी LLM प्रदाता की, और Smallest AI डैशबोर्ड से आपकी Smallest AI API की शामिल है:

AGORA_APP_ID=...
OPENAI_API_KEY=...
SMALLEST_API_KEY

AGORA_APP_ID=...
OPENAI_API_KEY=...
SMALLEST_API_KEY

AGORA_APP_ID=...
OPENAI_API_KEY=...
SMALLEST_API_KEY

चरण 3: एजेंट ग्राफ़ को Smallest AI की ओर इंगित करें

agents/examples/voice-assistant/tenapp/property.json खोलें और stt और tts नोड्स पर addon फ़ील्ड को अपडेट करें:

{
  "type": "extension",
  "name": "stt",
  "addon": "smallest_asr_python",
  "property": {
    "params": {
      "language": "en",
      "sample_rate": 16000
    }
  }
},

{
  "type": "extension",
  "name": "tts",
  "addon": "smallest_tts_python",
  "property": {
    "params": {
      "model": "lightning_v3.1",
      "voice_id": "magnus",
      "sample_rate": 24000
    }
  }
}

{
  "type": "extension",
  "name": "stt",
  "addon": "smallest_asr_python",
  "property": {
    "params": {
      "language": "en",
      "sample_rate": 16000
    }
  }
},

{
  "type": "extension",
  "name": "tts",
  "addon": "smallest_tts_python",
  "property": {
    "params": {
      "model": "lightning_v3.1",
      "voice_id": "magnus",
      "sample_rate": 24000
    }
  }
}

{
  "type": "extension",
  "name": "stt",
  "addon": "smallest_asr_python",
  "property": {
    "params": {
      "language": "en",
      "sample_rate": 16000
    }
  }
},

{
  "type": "extension",
  "name": "tts",
  "addon": "smallest_tts_python",
  "property": {
    "params": {
      "model": "lightning_v3.1",
      "voice_id": "magnus",
      "sample_rate": 24000
    }
  }
}

आपकी API की को ग्राफ़ के अंदर रहने की आवश्यकता नहीं है। दोनों एक्सटेंशन डिफ़ॉल्ट रूप से एनवायरनमेंट से SMALLEST_API_KEY को पढ़ लेते हैं।

चरण 4: बिल्ड और रन करें

docker compose up -d
docker exec ten_agent_dev bash -c "cd /app/agents/examples/voice-assistant && task install"
docker exec -d ten_agent_dev bash -c "cd /app/agents/examples/voice-assistant && task run"

docker compose up -d
docker exec ten_agent_dev bash -c "cd /app/agents/examples/voice-assistant && task install"
docker exec -d ten_agent_dev bash -c "cd /app/agents/examples/voice-assistant && task run"

docker compose up -d
docker exec ten_agent_dev bash -c "cd /app/agents/examples/voice-assistant && task install"
docker exec -d ten_agent_dev bash -c "cd /app/agents/examples/voice-assistant && task run"

चरण 5: अपने एजेंट से बात करें

http://localhost:3000 पर प्लेग्राउंड खोलें, एक चैनल से जुड़ें, और बात करना शुरू करें। ऑडियो अब पाइपलाइन के दोनों सिरों पर Smallest AI के माध्यम से प्रवाहित होता है: माइक्रोफ़ोन → Agora RTC → Pulse (STT) → आपका LLM → Lightning (TTS) → स्पीकर्स।

JSON को खुद संपादित करने के बजाय विज़ुअल वर्कफ़्लो पसंद करते हैं? TMAN Designer task run के साथ ही शुरू होता है और आपको JSON को छुए बिना केवल नोड्स को ड्रैग और ड्रॉप करके प्रदाताओं को बदलने की सुविधा देता है।

कॉन्फ़िगरेशन संदर्भ

दोनों एक्सटेंशन सही डिफ़ॉल्ट सेटिंग्स के साथ आते हैं, लेकिन ग्राफ़ स्तर पर सब कुछ बदला जा सकता है, इसलिए एक ही ऐप में अलग-अलग ग्राफ़ अलग-अलग आवाज़ों या भाषाओं को चला सकते हैं।

smallest_asr_python (STT) डिफ़ॉल्ट रूप से pulse मॉडल, अंग्रेज़ी और 16kHz इनपुट सैंपल रेट पर सेट होता है। params के अंतर्गत आपके द्वारा जोड़ी जाने वाली कोई भी अतिरिक्त की (key), जैसे कि word_timestamps, eou_timeout, या punctuate, लाइव एंडपॉइंट पर सीधे क्वेरी पैरामीटर के रूप में भेज दी जाती है।

smallest_tts_python (TTS) डिफ़ॉल्ट रूप से lightning_v3.1 पर magnus आवाज़ के साथ 24kHz आउटपुट सैंपल रेट पर सेट होता है, और 0.5x से 2x तक स्पीड कंट्रोल का समर्थन करता है। meher जैसी प्रीमियम अंग्रेज़ी और हिंदी आवाज़ों को अनलॉक करने के लिए मॉडल को lightning_v3.1_pro पर स्विच करें। अतिरिक्त params कीज़ जैसे कि language या pronunciation_dicts को रिक्वेस्ट बॉडी में वैसे ही भेज दिया जाता है।

लाइव कैप्शन के लिए अंतरिम STT ट्रांसक्रिप्ट final=false के साथ स्ट्रीम होते हैं, और अंतिम परिणाम वर्ड-लेवल टाइमिंग के साथ आते हैं, जो उपयोगी है यदि आप ट्रांसक्रिप्ट स्ट्रीम के ऊपर कैप्शन या एनालिटिक्स बना रहे हैं।

आप क्या बना सकते हैं?

TEN Framework और Smallest AI का कॉम्बिनेशन किसी भी ऐसी चीज़ के लिए उपयुक्त है जिसके लिए त्वरित प्रतिक्रिया देने वाले, रीयल-टाइम वॉयस लूप की आवश्यकता होती है:

• मल्टीमॉडल संवादात्मक सहायक (conversational assistants)

• ग्राहक सहायता और IVR प्रतिस्थापन

• लाइव कैप्शनिंग के साथ रीयल-टाइम वॉयस एजेंट

• बहुभाषी वॉयस इंटरफेस (Pulse 38 भाषाओं को कवर करता है)

• वॉयस-फ़र्स्ट प्रोटोटाइप जिन्हें बिना दोबारा लिखे प्रदाताओं को बदलने की आवश्यकता होती है

कंपोजिबल वॉयस AI के भविष्य का निर्माण

TEN Framework को एक्सटेंशन-फ़र्स्ट बनाया गया था ताकि डेवलपर्स अपनी ज़रूरत के हिसाब से STT, LLM और TTS चुन सकें, और Smallest AI के Pulse और Lightning मॉडल अब उस ग्राफ़ के अंदर केवल एक कॉन्फ़िगरेशन परिवर्तन की दूरी पर हैं।

आज ही शुरुआत करें, अपने ग्राफ़ को Smallest AI की ओर निर्देशित करें, और अपने एजेंट से बात करना शुरू करें।

दस्तावेजों का लिंक: https://docs.smallest.ai/models/integrations/agent-framework/ten-framework