Maximiser le retour sur l’intelligence
Par David Pan
Vers la fin de l’année dernière, l’ingénierie agentique a enfin commencé à porter ses fruits. Et, une fois lancée, tout s’est accéléré en même temps. Davantage d’ingénieurs se sont mis à utiliser ces outils, pour un plus grand nombre de tâches. Et chaque tâche est devenue plus coûteuse à mesure que la réflexion et les appels d’outils se multipliaient. Ces trois facteurs se multiplient entre eux, ce qui explique pourquoi tant d’équipes d’ingénierie ont vu leurs dépenses en IA suivre une courbe en J.
Ces équipes vous diront que ces dépenses en valaient la peine. Elles livrent plus vite et en tirent une réelle valeur. Mais, que cela en vaille la peine ou non, elles dépassent largement leurs budgets 2026, et presque tous les clients à qui nous parlons ont désormais une consigne semblable : continuer d’accélérer TOUT EN maîtrisant rigoureusement les coûts.
Plus facile à dire qu’à faire. Voici mon point de vue sur certaines des questions qui reviennent le plus souvent.
1. Dois-je utiliser des modèles moins chers ?
Fable et Opus sont manifestement assez coûteux, donc la première question qui se pose est de savoir s'il est possible d'utiliser une option moins chère. Mais ce scepticisme est légitime. Si le modèle bon marché produit un travail qu'il faut refaire, vous n'avez rien économisé. Vous avez payé deux fois et perdu du temps.
À la fin de l'année dernière, Opus 4.5 était le seul modèle auquel vous pouviez confier des tâches d'ingénierie sérieuses. Aujourd'hui, une douzaine de modèles le surpassent. Parmi les meilleurs modèles, les niveaux d'intelligence sont désormais assez proches, tandis que les prix et les vitesses varient fortement. La même tâche peut souvent être réalisée tout aussi bien pour une fraction du coût, à condition de choisir le modèle le plus adapté.
C'est là toute la difficulté. Aucun modèle n'est le meilleur pour chaque tâche, et la frontière évolue toutes les deux semaines. Il n'est pas raisonnable de demander à vos ingénieurs de garder cette matrice en tête. Or, c'est aussi un travail pour l'IA. Nous avons conçu un routeur de modèles, basé sur un modèle entraîné sur mesure pour faire exactement cela : déterminer quels modèles peuvent traiter une tâche donnée de manière fiable, puis acheminer la demande vers le moins cher qui répond aux exigences. Notre routeur offre une satisfaction utilisateur au niveau de Fable pour un coût inférieur de 68 %.
Alors oui, les modèles moins chers permettent de réaliser de vraies économies. Ne confiez simplement pas le routage à vos ingénieurs.
2. Devrais-je utiliser des modèles à poids ouverts ?
En principe, oui. Si un modèle à poids ouverts offre le meilleur rapport performances/prix pour une tâche donnée, il a sa place dans votre mix, idéalement derrière un routeur, comme tous les autres.
En pratique, à l’heure où nous écrivons ces lignes, ils ne font pas partie de la frontière de Pareto. Lorsque nous menons les évaluations et tenons compte de l’efficacité des tokens plutôt que du seul prix affiché, les meilleurs modèles fermés offrent toujours davantage d’intelligence par dollar.
La bonne nouvelle, c’est que vous bénéficiez des modèles à poids ouverts même si vous n’en exécutez jamais. Tous les principaux laboratoires suivent de près l’écosystème des poids ouverts, et cela joue certainement un rôle dans la tarification des modèles fermés. Continuez donc à soutenir les poids ouverts. Vous y gagnez dans tous les cas.
3. Devrais-je utiliser des agents cloud ? Ne sont-ils pas coûteux ?
Les « usines à logiciels » suscitent beaucoup d’enthousiasme en ce moment : des flottes d’agents cloud qui produisent des logiciels 24 h/24. Une réaction fréquente des responsables de l’ingénierie est la suivante : cela paraît formidable, mais je dépense déjà trop.
C’est vrai. Mais une grande partie des dépenses qu’un agent cloud pourrait engendrer existe déjà dans votre entreprise, au quotidien. Vos ingénieurs utilisent déjà des agents pour les aider dans les revues de code, les conflits de fusion, les échecs de CI, etc. Sauf qu’actuellement, ces tâches mobilisent aussi beaucoup de temps d’ingénierie et sont réalisées de façon inégale d’un ingénieur à l’autre.
Prenons l’exemple de la revue de code. Une heure complète d’un ingénieur peut coûter 50. Une revue Bugbot coûte moins d’un dollar et ne cesse de s’améliorer. La dernière version est plus de 3 fois plus rapide, 22 % moins chère et détecte 10 % de bugs en plus. Ce calcul ne nécessite pas de modèle de ROI sophistiqué.
Il existe un playbook GTM simple pour tout workflow d’agent cloud : faites-le fonctionner, puis améliorez-le, puis réduisez-en le coût. Le temps joue en votre faveur. Le coût de l’intelligence ne fera que diminuer au fil des mois.
4. Quelles métriques dois-je suivre ?
Choisissez des métriques alignées sur vos objectifs. Cela se résume généralement à trois étapes. Commencez par l’adoption : les équipes utilisent-elles réellement les outils ? Mesurez ensuite les métriques d’ingénierie : livrez-vous plus vite ? Le faites-vous efficacement ? Ce n’est qu’une fois ces résultats démontrés que vous devriez chercher à relier ces gains aux résultats de l’entreprise.
Pour mesurer l’adoption, ne vous fiez pas aux lignes de code ni aux dépenses en tokens. Ces deux indicateurs sont faciles à manipuler et peuvent encourager des comportements contre-productifs. Mesurez plutôt le nombre d’ingénieurs qui utilisent les outils chaque jour et l’intensité de cette utilisation.
Pour les métriques d’ingénierie, voici quelques indicateurs efficaces. Associez-les à des métriques de garde-fous afin de détecter si ces gains se font au détriment d’autres aspects.
- Vélocité : vélocité des PR, taux de résolution des tickets, taux de story points. Vitesse de livraison de projets de bout en bout par rapport à votre référence pré-IA.
- Efficacité : temps gagné grâce à l’automatisation des tâches répétitives et coût par tâche dans ces workflows.
- Garde-fous : volume de bugs, taux d’annulation des modifications, renouvellement du code.
Mesurer l’impact sur l’entreprise est le plus difficile, et je ne prétendrai pas qu’il existe une réponse simple. Plus vos dépenses en IA augmenteront, plus la pression sera forte pour les relier aux résultats de l’entreprise. Et à juste titre. Le conseil d’administration de votre entreprise ne se soucie pas de vos métriques d’ingénierie. Il veut constater un impact sur le chiffre d’affaires et les bénéfices.
5. Dois-je définir des budgets de dépenses par ingénieur ?
Probablement. Le niveau auquel vous les fixez dépend fortement de votre entreprise, et il n'existe pas de montant idéal universel. Voici quelques conseils généralement applicables.
Privilégiez des plafonds souples pouvant être relevés plutôt que des plafonds stricts, et rendez la première augmentation facile à obtenir. Cela sensibilise aux dépenses tout en laissant la décision en grande partie entre les mains de vos ingénieurs. Examinez ensuite davantage les demandes à mesure que les augmentations deviennent importantes. Les dépenses en IA ne sont pas si différentes du recours à un prestataire, et vous ne lui signeriez pas un chèque en blanc.
Attendez-vous également à une loi de puissance. Certains ingénieurs dépenseront nettement plus que d'autres, et ce n'est pas nécessairement une mauvaise chose. Nos données d'utilisation montrent un écart important entre les utilisateurs avancés et tous les autres, et les plus gros dépensiers comptent souvent parmi les utilisateurs de l'IA les plus efficaces de toute l'entreprise.
6. Comment évaluer mes dépenses en IA ?
Vous n'allez pas aimer cette réponse : vous devriez évaluer régulièrement vos dépenses, en collaboration avec votre équipe finance. La plupart des éditeurs de logiciels suivent et optimisent déjà leurs dépenses Cloud avec une grande rigueur. Si vous lisez cet article, vos dépenses en IA sont probablement suffisamment importantes pour mériter le même traitement. Votre équipe finance vous en remerciera. Ces questions sont si centrales pour les directeurs financiers que nous avons lancé un CFO Council précisément pour y répondre.
Segmentez les données d'utilisation de quatre manières : par équipe, par projet, par workflow et par type de travail. Voici un bon moyen de vérifier que vous disposez de la visibilité nécessaire : pouvez-vous répondre à des questions comme celles-ci ?
- Quelle part de mes dépenses est consacrée à chacune de mes trois principales initiatives produit ?
- Un ingénieur de mon équipe a dépensé $10k en tokens le mois dernier. Était-ce une dépense productive ?
- Quel est mon coût médian en tokens pour corriger un bug, et comment évolue-t-il ?
Examinez les valeurs aberrantes et tous les postes importants de dépenses « inconnues ». Creusez jusqu'à tout comprendre et être à l'aise avec la valeur qu'elles apportent à votre entreprise.
Agissez ensuite en fonction de ce que vous découvrez. Renforcez les investissements dans les domaines où l'IA fonctionne vraiment. Accordez davantage de budget à vos utilisateurs au ROI élevé, pas moins. Enfin, essayez de maintenir les changements budgétaires aussi proches que possible d'un jeu à somme nulle. Si un domaine doit largement dépasser son budget, il faut compenser ailleurs.
7. Comment accompagner mon équipe ?
Il est facile de prendre de mauvaises habitudes lorsque ce n’est pas vous qui payez la facture, et dans de nombreuses organisations, les équipes ne la voient même jamais. Commencez donc par assurer la transparence des coûts.
Ensuite, faites redescendre la responsabilité tout au long de la chaîne managériale. Vos responsables d’ingénierie de proximité devraient considérer qu’il leur incombe de veiller à ce que les dépenses en IA de leur équipe soient judicieuses, comme ils le feraient pour une décision de recrutement ou un investissement important dans la dette technique.
Si vous faites bien ces deux choses, l’essentiel de l’accompagnement se fera de lui-même. Les ingénieurs sont des optimiseurs. Donnez-leur de la visibilité sur le coût et la responsabilité du résultat, et ils trouveront d’eux-mêmes la voie la plus efficace.