David Pan द्वारा

पिछले साल के आखिर तक, एजेंटिक इंजीनियरिंग ने आखिरकार काम करना शुरू कर दिया था। और जब यह काम करने लगी, तो सब कुछ एक साथ बढ़ने लगा। अधिक इंजीनियरों ने इन टूल्स को अपनाया। वे इन्हें अधिक कार्यों के लिए इस्तेमाल करने लगे। और अधिक सोच-विचार व टूल कॉल्स के कारण हर कार्य की लागत बढ़ती गई। ये तीनों चीज़ें एक-दूसरे को गुणा करती हैं, और इसी तरह कई इंजीनियरिंग टीमों ने अपने AI खर्च को J-कर्व पर चढ़ते देखा।

ये टीमें आपको बताएंगी कि यह खर्च सार्थक रहा है। वे तेज़ी से शिप कर रही हैं और उन्हें वास्तविक मूल्य मिल रहा है। लेकिन खर्च सार्थक हो या न हो, वे अपने 2026 के बजट से काफी आगे निकल रही हैं, और अब जिन लगभग सभी ग्राहकों से हम बात करते हैं, उनके सामने एक ही तरह का निर्देश है: तेज़ी बनाए रखें और लागत पर अनुशासन भी रखें।

कहना आसान है, करना मुश्किल। अक्सर उठने वाले कुछ प्रश्नों पर मेरा दृष्टिकोण यह है।

#1. क्या मुझे सस्ते मॉडल्स इस्तेमाल करने चाहिए?

हर कोई देख सकता है कि Fable और Opus काफी महंगे हैं, इसलिए पहला स्वाभाविक सवाल यही है कि क्या आप कुछ सस्ता इस्तेमाल कर सकते हैं। लेकिन इस पर संदेह होना भी वाजिब है। अगर सस्ता मॉडल ऐसा काम करता है जिसे दोबारा करना पड़े, तो आपने कुछ भी नहीं बचाया। आपने दो बार भुगतान किया और समय भी बर्बाद किया।

पिछले साल के अंत तक, गंभीर इंजीनियरिंग कार्य के लिए Opus 4.5 ही एकमात्र ऐसा मॉडल था जिस पर आप भरोसा कर सकते थे। आज एक दर्जन मॉडल्स उससे बेहतर प्रदर्शन करते हैं। शीर्ष मॉडल्स में इंटेलिजेंस का अंतर अब काफी कम है, जबकि कीमत और गति में अंतर बहुत ज़्यादा है। सही मॉडल चुनने पर, वही कार्य अक्सर लागत के एक छोटे से हिस्से में उतनी ही अच्छी तरह किया जा सकता है।

सही चुनाव करना ही मुश्किल है। कोई भी मॉडल हर कार्य में सर्वश्रेष्ठ नहीं होता, और अत्याधुनिक स्थिति हर कुछ हफ्तों में बदलती रहती है। अपने इंजीनियरों से इस मैट्रिक्स को याद रखने की अपेक्षा करना उचित नहीं है। दरअसल, यह भी AI के लिए एक काम है। हमने एक मॉडल राउटर बनाया है, जो इसी काम के लिए कस्टम-प्रशिक्षित मॉडल से संचालित है: यह तय करता है कि कौन से मॉडल्स किसी दिए गए कार्य को आत्मविश्वास के साथ संभाल सकते हैं, फिर सबसे सस्ते ऐसे मॉडल को रूट करता है जो मानक पर खरा उतरता हो। हमारा राउटर Fable-स्तर की उपयोगकर्ता संतुष्टि 68% कम लागत पर प्रदान करता है।

तो हाँ, सस्ते मॉडल्स से वास्तव में पैसे बचते हैं। बस अपने इंजीनियरों से रूटिंग न करवाएँ।

#2. क्या मुझे ओपन-वेट मॉडल्स का इस्तेमाल करना चाहिए?

सैद्धांतिक रूप से, हाँ। अगर कोई ओपन-वेट मॉडल किसी कार्य के लिए प्रति डॉलर सर्वश्रेष्ठ प्रदर्शन देता है, तो उसे आपके मॉडल मिश्रण में शामिल होना चाहिए—आदर्श रूप से, बाकी मॉडल्स की तरह किसी राउटर के पीछे।

व्यवहार में, यह लिखे जाने तक वे Pareto frontier पर नहीं हैं। जब हम evals चलाते हैं और सिर्फ़ घोषित कीमत के बजाय token दक्षता को ध्यान में रखते हैं, तो अग्रणी क्लोज़्ड मॉडल्स अब भी प्रति डॉलर अधिक इंटेलिजेंस देते हैं।

अच्छी बात यह है कि अगर आप कभी ओपन-वेट मॉडल न भी चलाएँ, तब भी आपको उनका लाभ मिलता है। हर अग्रणी लैब ओपन-वेट्स इकोसिस्टम पर कड़ी नज़र रखती है, और क्लोज़्ड मॉडल्स की कीमत तय करने में यह निश्चित रूप से एक कारक है। इसलिए ओपन वेट्स का समर्थन करते रहें। किसी भी स्थिति में फ़ायदा आपका ही है।

#3. क्या मुझे क्लाउड एजेंट्स का उपयोग करना चाहिए? क्या वे महंगे नहीं हैं?

इन दिनों "सॉफ़्टवेयर फ़ैक्ट्रियों" को लेकर बहुत चर्चा है—क्लाउड एजेंट्स के समूह जो चौबीसों घंटे सॉफ़्टवेयर बना रहे हैं। इंजीनियरिंग नेताओं की एक आम प्रतिक्रिया होती है: यह तो बढ़िया लगता है, लेकिन मैं पहले ही बहुत ज़्यादा खर्च कर रहा हूँ।

बात वाजिब है। लेकिन क्लाउड एजेंट से जो भी अतिरिक्त खर्च हो सकता है, उसका बड़ा हिस्सा आपकी कंपनी में पहले से ही हर दिन हो रहा है। आपके इंजीनियर पहले से ही कोड समीक्षा, मर्ज कॉन्फ्लिक्ट, CI विफलताओं आदि में मदद के लिए एजेंट्स का उपयोग करते हैं। फर्क बस इतना है कि वर्तमान में इन कार्यों में इंजीनियरिंग का काफी समय लग रहा है और अलग-अलग इंजीनियर इन्हें अलग-अलग तरीके से निष्पादित कर रहे हैं।

उदाहरण के लिए, कोड समीक्षा को लें। सभी खर्चों सहित किसी इंजीनियर के एक घंटे की लागत $100होसकतीहै,इसलिएPRकीसमीक्षामेंलगाआधाघंटा$50 का पड़ता है। Bugbot की समीक्षा की लागत एक डॉलर से भी कम है और यह लगातार बेहतर हो रहा है। नवीनतम संस्करण 3x से अधिक तेज़, 22% सस्ता है और 10% अधिक बग्स ढूँढता है। इस हिसाब के लिए किसी जटिल ROI मॉडल की ज़रूरत नहीं है।

किसी भी क्लाउड एजेंट वर्कफ़्लो के लिए एक सरल प्लेबुक है: पहले इसे चलाएँ, फिर इसे बेहतर बनाएँ, फिर इसे सस्ता बनाएँ। समय आपके साथ है। जैसे-जैसे महीने बीतेंगे, इंटेलिजेंस की लागत कम होती जाएगी।

#4. मुझे किन मेट्रिक्स को ट्रैक करना चाहिए?

ऐसे मेट्रिक्स चुनें जो आपके लक्ष्यों से सीधे जुड़े हों। आमतौर पर इसके तीन चरण होते हैं। अपनाने से शुरू करें: क्या लोग वास्तव में टूल्स का उपयोग कर रहे हैं? फिर इंजीनियरिंग मेट्रिक्स मापें: क्या आप तेज़ी से शिप कर रहे हैं? क्या आप कुशलता से शिप कर रहे हैं? यह साबित करने के बाद ही इन लाभों को व्यवसाय से जोड़ने की कोशिश करें।

अपनाने के लिए, कोड की पंक्तियों और token खर्च को छोड़ दें। दोनों में हेरफेर करना आसान है और ये लोगों को प्रतिकूल व्यवहार की ओर प्रेरित कर सकते हैं। इसके बजाय मापें कि कितने इंजीनियर हर दिन टूल्स का उपयोग करते हैं और उनका उपयोग कितनी गहराई से करते हैं।

इंजीनियरिंग मेट्रिक्स के लिए, ये कुछ उपयोगी विकल्प हैं। इन्हें guardrail मेट्रिक्स के साथ जोड़ें, ताकि आपको पता चल सके कि इन लाभों की कीमत कहीं और तो नहीं चुकानी पड़ रही है।

• वेग: PR वेग, टिकट पूर्णता दर, स्टोरी पॉइंट दर। आपकी AI-पूर्व आधाररेखा की तुलना में एंड-टू-एंड प्रोजेक्ट डिलीवरी की गति।
• कुशलता: बार-बार होने वाले कार्यों को ऑटोमेट करके बचाया गया समय और उन वर्कफ़्लो में प्रति कार्य लागत।
• Guardrails: बग की संख्या, रिवर्ट दर, कोड टर्नओवर।

व्यवसाय पर प्रभाव मापना कठिन है, और मैं यह दिखावा नहीं करूँगा कि इसका कोई आसान जवाब है। आपका AI खर्च जितना बढ़ेगा, उसे व्यावसायिक परिणामों से जोड़ने का दबाव उतना ही बढ़ेगा। और इसकी वाजिब वजह है। आपकी कंपनी के बोर्ड को आपके इंजीनियरिंग मेट्रिक्स की परवाह नहीं है। वे राजस्व और मुनाफ़े पर प्रभाव देखना चाहते हैं।

#5. क्या मुझे हर इंजीनियर के लिए खर्च का बजट तय करना चाहिए?

शायद हाँ। इन्हें कहाँ तय करना है, यह काफी हद तक आपकी कंपनी पर निर्भर करता है, और इसके लिए कोई एक सही संख्या नहीं है। कुछ सुझाव लगभग हर जगह लागू होते हैं।

हार्ड कैप के बजाय ऐसे सॉफ्ट कैप रखें जिन्हें बढ़ाया जा सके, और पहली बढ़ोतरी की प्रक्रिया आसान रखें। इससे खर्च के प्रति जागरूकता बनी रहती है, जबकि निर्णय मुख्यतः आपके इंजीनियरों के हाथ में रहता है। फिर, बढ़ोतरी बड़ी होने पर अधिक सावधानी बरतें। AI पर खर्च किसी ठेकेदार को नियुक्त करने से बहुत अलग नहीं है, और आप उसके लिए बिना सीमा का चेक नहीं देंगे।

और पावर लॉ की उम्मीद रखें। कुछ इंजीनियर दूसरों की तुलना में बहुत अधिक खर्च करेंगे, और यह ज़रूरी नहीं कि बुरी बात हो। हमारे उपयोग डेटा में पावर उपयोगकर्ताओं और बाकी सभी के बीच बड़ा अंतर दिखता है, और सबसे अधिक खर्च करने वाले अक्सर पूरी कंपनी में AI के सबसे कुशल उपयोगकर्ताओं में शामिल होते हैं।

#6. मुझे अपने AI खर्च की समीक्षा कैसे करनी चाहिए?

आपको यह जवाब पसंद नहीं आएगा: आपको अपने खर्च की नियमित रूप से और अपनी वित्त टीम के साथ मिलकर समीक्षा करनी चाहिए। अधिकांश सॉफ़्टवेयर संगठन पहले से ही अपने क्लाउड खर्च को अनुशासन के साथ ट्रैक और अनुकूलित करते हैं। यदि आप यह लेख पढ़ रहे हैं, तो आपका AI खर्च शायद इतना बड़ा है कि उसके साथ भी वैसा ही व्यवहार किया जाना चाहिए। आपकी वित्त टीम इसके लिए आपकी सराहना करेगी। ये प्रश्न CFO के लिए इतने महत्वपूर्ण हैं कि हमने इन पर विचार करने के लिए CFO Council शुरू किया।

उपयोग डेटा को चार तरीकों से विभाजित करें: टीम के अनुसार, प्रोजेक्ट के अनुसार, वर्कफ़्लो के अनुसार और कार्य के प्रकार के अनुसार। आपके पास आवश्यक दृश्यता है या नहीं, इसका एक अच्छा परीक्षण यह है: क्या आप ऐसे प्रश्नों के उत्तर दे सकते हैं?

• मेरे खर्च का कितना हिस्सा मेरी शीर्ष तीन उत्पाद पहलों में से प्रत्येक पर जा रहा है?
• मेरी टीम के एक इंजीनियर ने पिछले महीने टोकन पर $10k खर्च किए। क्या यह उत्पादक खर्च था?
• किसी बग को ठीक करने की मेरी माध्यिका टोकन लागत क्या है और उसका रुझान कैसा है?

अपवादों और "अज्ञात" खर्च की किसी भी बड़ी श्रेणी की जाँच करें। तब तक गहराई से पड़ताल करें, जब तक आप सब कुछ समझ न लें और इस बात से सहज न हों कि यह आपके व्यवसाय के लिए कैसे मूल्य प्रदान कर रहा है।

फिर जो पता चले, उस पर कार्रवाई करें। जिन क्षेत्रों में AI वास्तव में काम कर रहा है, वहाँ अधिक निवेश करें। अपने उच्च ROI उपयोगकर्ताओं को कम नहीं, अधिक बजट दें। अंत में, बजट परिवर्तनों को यथासंभव शून्य-योग के करीब रखने का प्रयास करें। यदि किसी एक क्षेत्र को बहुत अधिक खर्च करना है, तो वह कहीं और से आना चाहिए।

#7. मुझे अपनी टीम को कैसे प्रशिक्षित करना चाहिए?

जब बिल का भुगतान आप नहीं कर रहे होते, तो बुरी आदतें पड़ना आसान होता है, और कई संगठनों में टीमें बिल देखती भी नहीं हैं। इसलिए लागत की पारदर्शिता से शुरू करें।

फिर जवाबदेही को प्रबंधन श्रृंखला में नीचे तक पहुँचाएँ। आपके प्रथम-पंक्ति इंजीनियरिंग प्रबंधकों को यह महसूस होना चाहिए कि उनकी टीम का AI खर्च सही मायने में उपयोगी हो, यह सुनिश्चित करना उनके काम का हिस्सा है—ठीक वैसे ही जैसे किसी भर्ती निर्णय या तकनीकी ऋण में बड़े निवेश के मामले में होता है।

इन दो बातों को सही कर लें, तो अधिकांश प्रशिक्षण अपने-आप हो जाता है। इंजीनियर अनुकूलन करने वाले होते हैं। उन्हें लागत और परिणाम के स्वामित्व की दृश्यता दें, और वे स्वयं ही कुशल पाथ खोज लेंगे।