Por David Pan

No fim do ano passado, a engenharia agêntica finalmente começou a funcionar. E, quando funcionou, tudo cresceu de uma vez. Mais engenheiros passaram a usar as ferramentas. Começaram a usá-las em mais tarefas. E cada tarefa ficou mais cara devido ao maior uso de pensamento e chamadas de ferramentas. Essas três coisas se multiplicam, e foi assim que tantas equipes de engenharia viram seus gastos com IA entrarem em uma curva em J.

Essas equipes dirão que o gasto valeu a pena. Elas estão entregando mais rápido e obtendo valor real. Mas, valha a pena ou não, estão ultrapassando seus orçamentos de 2026, e quase todos os clientes com quem falamos agora têm alguma versão da mesma diretriz: continuar acelerando E controlar os custos com disciplina.

Mais fácil falar do que fazer. Esta é minha visão sobre algumas das perguntas que surgem com mais frequência.

#1. Devo usar modelos mais baratos?

É evidente que o Fable e o Opus são bastante caros, então a primeira pergunta é se é possível usar algo mais barato. Mas é natural ter certo ceticismo. Se o modelo barato produz um resultado que precisa ser refeito, você não economizou nada. Pagou duas vezes e perdeu tempo.

No fim do ano passado, o Opus 4.5 era o único modelo em que se podia confiar para trabalhos sérios de engenharia. Hoje, uma dúzia de modelos o supera. Entre os principais modelos, a diferença de inteligência é bastante pequena, enquanto a de preço e velocidade é muito grande. Muitas vezes, a mesma tarefa pode ser realizada com a mesma qualidade por uma fração do custo, se você escolher o modelo ideal.

Escolher bem é o desafio. Nenhum modelo é o melhor para todas as tarefas, e a fronteira avança a cada duas semanas. Não é razoável pedir aos seus engenheiros que mantenham essa matriz em mente. Acontece que esse também é um trabalho para a IA. Desenvolvemos um roteador de modelos, alimentado por um modelo treinado sob medida para fazer exatamente isso: identificar quais modelos conseguem executar uma determinada tarefa com confiança e direcioná-la ao mais barato que atenda aos requisitos. Nosso roteador oferece satisfação do usuário no nível do Fable a um custo 68% menor.

Portanto, sim, modelos mais baratos geram economia real. Só não deixe o roteamento por conta dos seus engenheiros.

#2. Devo usar modelos de pesos abertos?

Em princípio, sim. Se um modelo de pesos abertos oferecer a melhor relação entre performance e custo em uma determinada tarefa, ele deve fazer parte do seu mix, de preferência por trás de um roteador, como todos os outros.

Na prática, até o momento em que este texto foi escrito, eles não estão na fronteira de Pareto. Quando executamos as evals e consideramos a eficiência de tokens, em vez de apenas o preço divulgado, os principais modelos fechados ainda oferecem mais inteligência por dólar.

A boa notícia é que você se beneficia dos modelos de pesos abertos mesmo que nunca execute um deles. Todos os principais laboratórios acompanham de perto o ecossistema de pesos abertos, e ele certamente influencia a definição de preços dos modelos fechados. Portanto, continue torcendo pelos pesos abertos. Você sai ganhando de qualquer forma.

#3. Devo usar agentes na nuvem? Eles não são caros?

Há muita empolgação em torno das "fábricas de software" neste momento: frotas de agentes na nuvem produzindo software ininterruptamente. Uma reação comum entre líderes de engenharia é algo como: parece ótimo, mas já estou gastando demais.

Justo. Mas boa parte do gasto que um agente na nuvem pode gerar já ocorre diariamente na sua empresa. Seus engenheiros já usam agentes para ajudar com revisões de código, conflitos de merge, falhas de CI etc. A diferença é que, atualmente, essas tarefas também consomem muito tempo de engenharia e são executadas de forma inconsistente por diferentes engenheiros.

Veja as revisões de código, por exemplo. Uma hora de um engenheiro, considerando o custo total, pode custar $100;portanto,meiahorarevisandoumaPRcusta$50. Uma revisão do Bugbot custa menos de um dólar e continua melhorando. A versão mais recente é mais de 3x mais rápida, 22% mais barata e encontra 10% mais bugs. Essa conta não exige um modelo sofisticado de ROI.

Há um playbook simples para qualquer fluxo de trabalho com agentes na nuvem: faça funcionar, depois melhore, depois reduza o custo. O tempo está a seu favor. O custo da inteligência só diminuirá com o passar dos meses.

#4. Quais métricas devo acompanhar?

Escolha métricas alinhadas ao que você busca alcançar. Isso normalmente envolve três etapas. Comece pela adoção: as pessoas estão realmente usando as ferramentas? Depois, meça métricas de engenharia: vocês estão entregando mais rápido? Com eficiência? Só depois de comprovar isso, tente relacionar esses ganhos aos resultados do negócio.

Para medir a adoção, deixe de lado as linhas de código e os gastos com tokens. Ambos são fáceis de manipular e podem incentivar comportamentos contraproducentes. Em vez disso, meça quantos engenheiros usam as ferramentas todos os dias e a intensidade desse uso.

Para as métricas de engenharia, estas são algumas que funcionam bem. Combine-as com métricas de proteção para identificar se os ganhos estão tendo custos em outras áreas.

• Velocidade: velocidade das PRs, taxa de conclusão de tickets, taxa de story points. Velocidade de entrega de projetos de ponta a ponta em comparação com sua referência pré-IA.
• Eficiência: tempo recuperado com a automação de tarefas repetitivas e custo por tarefa nesses fluxos de trabalho.
• Proteções: volume de bugs, taxa de reversões, rotatividade de código.

Medir o impacto no negócio é a parte mais difícil, e não vou fingir que existe uma resposta simples. Quanto maior for seu gasto com IA, maior será a pressão para relacioná-lo aos resultados do negócio. E com razão. O conselho da sua empresa não se importa com suas métricas de engenharia. Ele quer ver impacto na receita e no resultado final.

#5. Devo definir orçamentos de gastos por engenheiro?

Provavelmente, sim. O lugar em que você os define depende muito da sua empresa, e não existe um valor único ideal. Algumas dicas que costumam funcionar de modo geral.

Use limites flexíveis que possam ser aumentados, em vez de limites rígidos, e facilite o primeiro aumento. Isso gera consciência sobre os gastos e mantém a decisão, em grande parte, nas mãos dos seus engenheiros. Depois, faça uma análise mais cuidadosa à medida que os aumentos ficarem maiores. O gasto com IA não é tão diferente de contratar um prestador de serviços, e você não emitiria um cheque em branco para isso.

E espere uma distribuição em lei de potência. Alguns engenheiros gastarão muito mais do que outros, e isso não é necessariamente ruim. Nossos dados de uso mostram uma grande diferença entre usuários avançados e todos os demais, e quem mais gasta costuma estar entre os usuários mais eficientes de IA em toda a empresa.

#6. Como devo avaliar meus gastos com IA?

Você não vai gostar desta resposta: deve avaliar seus gastos regularmente, em parceria com a equipe financeira. A maioria das organizações de software já acompanha e otimiza seus gastos com Cloud com muita disciplina. Se você está lendo este artigo, seus gastos com IA provavelmente são altos o suficiente para merecer o mesmo tratamento. Sua equipe financeira vai adorar. Essas questões são tão prioritárias para os CFOs que lançamos um CFO Council exclusivamente para discuti-las.

Segmente os dados de uso de quatro maneiras: por equipe, por projeto, por fluxo de trabalho e por tipo de trabalho. Um bom teste para saber se você tem a visibilidade necessária: você consegue responder a perguntas como estas?

• Quanto dos meus gastos vai para cada uma das três principais iniciativas de produto?
• Um engenheiro da minha equipe gastou $10 mil em tokens no mês passado. Foi um gasto produtivo?
• Qual é meu custo mediano em tokens para corrigir um bug e qual é sua tendência?

Investigue os valores atípicos e quaisquer grandes categorias de gastos "desconhecidos". Aprofunde-se até entender tudo e se sentir confortável com a forma como isso gera valor para sua empresa.

Depois, aja com base no que encontrar. Invista ainda mais nas áreas em que a IA realmente funciona. Dê mais orçamento, não menos, aos usuários com alto ROI. Por fim, tente manter as alterações no orçamento o mais próximo possível de soma zero. Se uma área precisar ultrapassar muito o orçamento, esse valor terá de vir de algum lugar.

#7. Como devo orientar minha equipe?

É fácil cair em maus hábitos quando você não é quem paga a conta e, em muitas organizações, as equipes nem sequer veem a conta. Portanto, comece pela transparência de custos.

Depois, distribua a responsabilidade ao longo da cadeia de gestão. Seus gerentes de engenharia de primeira linha devem entender que faz parte de seu trabalho garantir que os gastos da equipe com IA sejam bem aproveitados, assim como fariam com uma decisão de contratação ou um grande investimento para reduzir a dívida técnica.

Se acertar esses dois pontos, a maior parte da orientação acontece naturalmente. Engenheiros são otimizadores. Dê a eles visibilidade sobre o custo e a responsabilidade pelo resultado, e eles encontrarão sozinhos o caminho mais eficiente.