मॉडल रूटिंग: सही मॉडल, सही काम, सही कीमत
ज़्यादातर टीमें ऐसे काम के लिए फ्रंटियर कीमतें चुकाती हैं, जिनके लिए अत्याधुनिक मॉडल की ज़रूरत नहीं होती। कोई सबसे शक्तिशाली मॉडल चुन लेता है जो उसे मिल सके, उसे डिफ़ॉल्ट के तौर पर सेट कर देता है, और उसके बाद हर अनुरोध सबसे ऊँची दर पर चलने लगता है। खर्च, शिप होने वाले काम की गुणवत्ता से भी तेज़ बढ़ता है।
मॉडल रूटिंग इसका समाधान है। हर अनुरोध को एक ही मॉडल पर भेजने के बजाय, राउटर हर अनुरोध को देखता है और उसके लिए सबसे उपयुक्त मॉडल चुनता है। आसान काम तेज़, सस्ते मॉडल्स को जाता है। मुश्किल, दीर्घ-क्षितिज वाला काम फ्रंटियर मॉडल्स को जाता है।
मॉडल रूटिंग धीरे-धीरे इस बात की Standard परत बनता जा रहा है कि टीमें LLMs के साथ कैसे काम करती हैं। सबसे सस्ते सक्षम मॉडल और सबसे महंगे मॉडल के बीच का फ़र्क बहुत बड़ा है, और आप दिन भर जो ज़्यादातर काम करते हैं, वह आसान श्रेणी में आता है। अगर आप इसे सही ढंग से रूट करें, तो गुणवत्ता बनाए रखते हुए खर्च को काफ़ी हद तक कम कर सकते हैं। इस गाइड के बाकी हिस्से में बताया गया है कि रूटिंग वास्तव में कैसे काम करती है, क्या मापना चाहिए ताकि आपको पता चले कि यह काम कर रही है, और इसे कैसे चालू करना है।
मॉडल रूटिंग अब क्यों मायने रखती है
दो चीज़ें एक साथ बदलीं। मॉडल्स अब कीमतों की एक विस्तृत रेंज में अधिक सक्षम हो गए, और डेवलपर्स ने इनके ज़रिए कहीं ज़्यादा अनुरोध भेजने शुरू कर दिए क्योंकि एजेंट्स ने काम का बड़ा हिस्सा संभाल लिया। इसी स्थिति में एकल-मॉडल डिफ़ॉल्ट महँगा पड़ने लगता है।
लगभग Cursor का उपयोग करने वाले 60% डेवलपर्स अपने रोज़मर्रा के मुख्य विकल्प के रूप में एक ही मॉडल चुनते हैं, जिसका मतलब है कि नियमित काम फ्रंटियर कीमतों पर चलता है और AI पर खर्च आउटपुट गुणवत्ता की तुलना में कहीं तेज़ी से बढ़ता है। Composer 2.5 जैसा first-party मॉडल प्रति मिलियन इनपुट टोकन के लिए 2.50 लेता है, जबकि फ्रंटियर मॉडल्स की लागत इससे कई गुना अधिक होती है। जब आपका अधिकांश वॉल्यूम सामान्य कोडिंग कार्य का होता है, तो आप जिस मॉडल को डिफ़ॉल्ट रखते हैं वही आपके बिल का बड़ा हिस्सा तय करता है।
उद्योग भी इसी निष्कर्ष पर पहुँचा है। Microsoft का Foundry लागत, balanced, और गुणवत्ता मोड्स के साथ एक मॉडल राउटर प्रदान करता है। RouteLLM जैसे अनुसंधान सिस्टम फ्रंटियर गुणवत्ता के क़रीब रहते हुए लागत में बड़ी कमी की रिपोर्ट करते हैं। यह पैटर्न अब हर जगह एक साथ दिख रहा है, और आम तौर पर इसका मतलब यही होता है कि इसके पीछे के गणित से बहस करना मुश्किल है।
रूट करने से पहले उत्तर देने लायक प्रश्न
यदि आप मॉडल रूटिंग का मूल्यांकन कर रहे हैं, तो पहले इन बातों पर स्पष्ट निर्णय कर लें। इन्हें इसी क्रम में देखें।
मॉडल राउटर क्या है?
मॉडल राउटर एक ऐसी प्रणाली है जो आपके और मॉडल्स के एक सेट के बीच काम करती है और यह तय करती है कि हर अनुरोध को कौन-सा मॉडल संभालेगा। यह अनुरोध को पढ़ता है (प्रॉम्प्ट, संदर्भ, कार्य का प्रकार) और उसे उस मॉडल तक भेजता है जो सबसे कम लागत पर काम को अच्छी तरह करने की सबसे अधिक संभावना रखता है। अच्छे राउटर सिर्फ लंबाई नहीं देखते, बल्कि कार्य के प्रकार और जटिलता के आधार पर भी सोचते हैं। कमजोर राउटर किसी मोटे-तौर पर बनाए गए नियम के आधार पर रूट करते हैं और असली बात से चूक जाते हैं।
रूटिंग कैसे तय करती है कि किस मॉडल का उपयोग करना है?
बेहतर सिस्टम किसी भी मॉडल के चलने से पहले हर अनुरोध का वर्गीकरण करते हैं। उदाहरण के लिए, Cursor Router हर अनुरोध पर एक क्लासिफ़ायर चलाता है, जो query, संदर्भ, कार्य की जटिलता और डोमेन के आधार पर काम करता है, साथ ही इस जानकारी को भी ध्यान में रखता है कि हर मॉडल कैसे व्यवहार करता है। UI संबंधी कार्य price-efficient मॉडल्स को भेजे जाते हैं, इंटरफ़ेस संबंधी कार्य उस मॉडल को दिए जाते हैं जिसकी समझ सबसे बेहतर होती है, और जटिल, दीर्घ-क्षितिज समस्याएँ अत्याधुनिक तर्क मॉडल्स को सौंपी जाती हैं। यह वर्गीकरण पहले ही हो जाता है, इसलिए चुनाव उस महंगे मॉडल को बुलाने से पहले ही कर लिया जाता है।
क्या रूटिंग ऑटोमैटिक होनी चाहिए, या इंजीनियरों को अब भी चुनना चाहिए?
दोनों, लेकिन अलग-अलग स्तरों पर। हर अनुरोध के लिए चयन ऑटोमैटिक होना चाहिए, क्योंकि कोई भी दिन में सैकड़ों बार हाथ से मॉडल नहीं चुनना चाहता, और हर कार्य के साथ सही विकल्प बदलता रहता है। टीमें वास्तव में यह चाहती हैं कि लागत बनाम गुणवत्ता के समझौते में वे कुल मिलाकर कहाँ रहना चाहती हैं, इसके लिए उनके पास एक नियंत्रण हो। सामान्य डिज़ाइन आपको कुछ मोड (लागत, संतुलित, गुणवत्ता) देता है, जो पूरी टीम को उस स्पेक्ट्रम पर आगे-पीछे ले जाते हैं, जबकि हर अनुरोध का फैसला अंदरूनी स्तर पर अपने-आप संभाला जाता है।
क्या रूटिंग से गुणवत्ता पर असर पड़ता है?
अगर राउटर को सिर्फ लागत के बजाय गुणवत्ता के आधार पर आंका जाए, तो ऐसा नहीं होना चाहिए। मॉडल रूटिंग कठिन कार्यों को सबसे सक्षम मॉडल्स पर ही रखती है और केवल आसान काम को नीचे के मॉडल्स पर भेजती है। Cursor के लाखों अनुरोधों पर किए गए A/B परीक्षणों में, Intelligence मोड ने उपयोगकर्ता संतुष्टि के मामले में लगभग 60% कम लागत पर एक अत्याधुनिक मॉडल के करीब प्रदर्शन किया, और शुरुआती पहुँच वाले उद्यमों ने सब कुछ शीर्ष मॉडल पर रूट करने की तुलना में 30 से 50% तक की बचत देखी, वह भी गुणवत्ता में बिना किसी गिरावट के। अधिकांश अनुरोधों के लिए, जो मॉडल काम अच्छी तरह कर देता है, वह सबसे महंगा नहीं होता।
आपको क्या मापना चाहिए?
केवल प्रति अनुरोध लागत नहीं, बल्कि वास्तविक काम की प्रति इकाई लागत पर नज़र रखें। इसे उपयोगकर्ता संतुष्टि (क्या व्यक्ति ने परिणाम लिया और आगे बढ़ गया, या वापस जाकर उसे ठीक किया?) और keep rate (जनरेट किए गए कोड का कितना हिस्सा बाद में भी कोडबेस में बना रहता है) से मापा जा सकता है। Cursor प्रति कमिट लागत को सबसे अहम संख्या के रूप में रिपोर्ट करता है: हमारे परीक्षणों में, Cursor राउटर की लागत Balance में 6.76, जबकि all-Opus 4.8 आधाररेखा के लिए $7.34 है। प्रति कमिट लागत (या प्रति PR) वह संख्या है जिसे आपको बजट संबंधी बातचीत में सामने रखना चाहिए, क्योंकि यह खर्च को शिप किए गए काम से जोड़ती है।
रूटिंग कैशिंग और मॉडल्स के बीच स्विचिंग को कैसे संभालती है?
बातचीत के दौरान मॉडल्स के बीच स्विच करने पर प्रॉम्प्ट कैश छूट सकता है, जिससे ऐसी लागत जुड़ जाती है जिसे पहले-और-बाद की एक सतही तुलना अनदेखा कर देती है। Cursor अपनी रिपोर्ट की गई बचत में अपने रूटिंग फ़ैसलों से होने वाली cache-miss लागत शामिल करके इसका हिसाब रखता है। जब आप किसी राउटर का मूल्यांकन करें, तो पूछें कि क्या उसके आँकड़े cache-aware हैं। अगर नहीं, तो वे संभवतः बचत को बढ़ा-चढ़ाकर बता रहे हैं।
Cursor में मॉडल रूटिंग कैसे चलाएँ
Cursor Router, Teams और Enterprise प्लान में Auto के पीछे काम करने वाला मॉडल रूटिंग सिस्टम है। आप तय करते हैं कि अनुकूलन कितनी आक्रामक हो। Balance और Intelligence में, राउटर हर अनुरोध के लिए मॉडल चुनता है।
एक मोड चुनें। मॉडल पिकर में Auto चुनें, फिर अनुकूलन मोड चुनें। Cost token खर्च का अनुकूलन करता है। Balance उन फ्रंटियर मॉडल्स के अनुरूप है जिन्हें लोग रोज़मर्रा के इस्तेमाल के लिए पसंद करते हैं, और Intelligence शीर्ष-स्तरीय गुणवत्ता पर केंद्रित है। सभी Auto मोड का बिल routed model की सूचीबद्ध कीमत पर होता है।
इसे वर्गीकृत करने दें। Balance और Intelligence में, राउटर हर अनुरोध को पढ़ता है और कार्य के प्रकार और जटिलता के आधार पर route करता है। इससे कठिन काम सबसे सक्षम मॉडल्स पर रहता है और नियमित काम फ्रंटियर मूल्य निर्धारण से हट जाता है। Grok 4.5 को सक्षम करना ज़रूरी है, क्योंकि जब राउटर किसी अत्याधुनिक मॉडल को कॉल नहीं कर रहा होता, तब वह इसे लागत-कुशल विकल्प के रूप में इस्तेमाल करता है।
guardrails सेट करें (प्रशासक)। टीम या group के हिसाब से Router सक्षम करें, चुनें कि सदस्य कौन से मोड का उपयोग कर सकते हैं, डिफ़ॉल्ट सेट करें, और विशिष्ट मॉडल्स को अनुमति दें या ब्लॉक करें। Teams प्लान में यह डिफ़ॉल्ट रूप से चालू रहता है; Enterprise प्रशासक इसे डैशबोर्ड से सक्षम करते हैं।
संख्याओं पर नज़र रखें। usage dashboard में उपयोग ट्रैक करें, ताकि आप देख सकें कि कितना उपयोग Cursor के मॉडल्स के ज़रिए हो रहा है और कितना अन्य मॉडल्स के ज़रिए, और rollout बढ़ाने से पहले यह पक्का कर सकें कि बचत वास्तव में हो रही है।
अगला चरण: मॉडल पिकर में Auto चालू करें, Balance या Intelligence चुनें, और cursor.com/docs/cursor-router पर पूरा सेटअप देखें। प्रशासक टीम डैशबोर्ड से Router सक्षम कर सकते हैं और guardrails सेट कर सकते हैं।
काम के हिसाब से मॉडल चुनें
मॉडल रूटिंग इसलिए काम करती है क्योंकि आपके ज़्यादातर कामों के लिए सबसे शक्तिशाली मॉडल शायद ही कभी सही होता है। काम के हिसाब से मॉडल चुनें, और आप गुणवत्ता का स्तर बनाए रखते हैं, साथ ही उस काम के लिए कहीं कम लागत चुकाते हैं, जिसे शुरू से ही किसी अत्याधुनिक मॉडल की आवश्यकता नहीं थी। जो राउटर वास्तव में असर दिखाते हैं, वे वास्तविक कार्य-जटिलता के आधार पर रूट करते हैं, कठिन समस्याओं को सक्षम मॉडल्स पर रखते हैं, और शिप किए गए हर परिवर्तन पर लागत के आधार पर खुद को परखते हैं। अगर यह आपकी टीम के मौजूदा काम करने के तरीके से मेल खाता है, तो किसी व्यस्त टीम के लिए रूटिंग चालू करें, एक हफ्ते तक प्रति कमिट लागत देखें, और उस संख्या को तय करने दें कि इसे कितनी दूर तक पुश करना है।