Strategy

Maximizar el retorno de la inteligencia

8 min de lectura

Por David Pan

Hacia finales del año pasado, la ingeniería con agentes por fin empezó a funcionar. Y, cuando funcionó, todo se disparó a la vez. Más ingenieros adoptaron las herramientas. Empezaron a usarlas para más tareas. Y cada tarea se encareció al requerir más razonamiento y más llamadas a herramientas. Esas tres variables se multiplican, y así muchos equipos de ingeniería vieron cómo su gasto en IA trazaba una curva en J.

Estos equipos dirán que la inversión ha valido la pena. Entregan más rápido y obtienen valor real. Pero, haya valido la pena o no, están superando con creces sus presupuestos para 2026, y casi todos los clientes con los que hablamos tienen alguna versión del mismo mandato: seguir acelerando Y controlar los costos con disciplina.

Más fácil decirlo que hacerlo. Esta es mi perspectiva sobre algunas de las preguntas que surgen con más frecuencia.

1. ¿Debería usar modelos más económicos?

Es evidente que Fable y Opus son bastante caros, así que la primera pregunta obvia es si puedes usar algo más económico. Pero es razonable tener dudas. Si el modelo económico genera trabajo que hay que rehacer, no ahorraste nada. Pagaste dos veces y perdiste tiempo.

A finales del año pasado, Opus 4.5 era el único modelo al que podías confiar trabajo de ingeniería serio. Hoy, una docena de modelos lo superan. Entre los mejores modelos, la diferencia de inteligencia es ahora bastante reducida, mientras que las diferencias de precio y velocidad son muy amplias. A menudo, la misma tarea puede realizarse igual de bien por una fracción del costo, si eliges el modelo adecuado.

El problema está en elegir bien. Ningún modelo es el mejor para todas las tareas y la frontera cambia cada par de semanas. No es razonable pedirles a tus ingenieros que tengan esa matriz en mente. Resulta que este también es un trabajo para la IA. Creamos un router de modelos, impulsado por un modelo entrenado a medida para hacer exactamente esto: determinar qué modelos pueden realizar una tarea determinada con confianza y luego dirigirla al más económico que cumpla los requisitos. Nuestro router ofrece una satisfacción de usuario al nivel de Fable con un costo un 68 % menor.

Así que sí, los modelos más económicos ahorran dinero de verdad. Pero no hagas que tus ingenieros se encarguen del enrutamiento.

2. ¿Debería usar modelos de pesos abiertos?

En principio, sí. Si un modelo de pesos abiertos ofrece la mejor relación rendimiento-precio para una tarea concreta, debería formar parte de su combinación de modelos, idealmente detrás de un router, como todo lo demás.

En la práctica, en el momento de escribir estas líneas, no se encuentran en la frontera de Pareto. Cuando ejecutamos las evaluaciones y tenemos en cuenta la eficiencia de los tokens, en lugar de solo el precio nominal, los principales modelos cerrados siguen ofreciendo más inteligencia por dólar.

La buena noticia es que se beneficia de los modelos de pesos abiertos aunque nunca ejecute uno. Todos los laboratorios líderes prestan mucha atención al ecosistema de pesos abiertos, y sin duda influye en la fijación de precios de los modelos cerrados. Así que siga apoyando los pesos abiertos. Gana de cualquier forma.

3. ¿Debería usar agentes en la nube? ¿No son caros?

Ahora mismo hay mucho entusiasmo por las "fábricas de software": flotas de agentes en la nube que producen software las 24 horas del día. Una reacción habitual entre los líderes de ingeniería es: suena genial, pero ya estoy gastando demasiado.

Es comprensible. Pero gran parte del gasto que podría generar un agente en la nube ya se produce a diario en su compañía. Sus ingenieros ya usan agentes para ayudar con las revisiones de código, los conflictos de fusión, los fallos de CI, etc. La diferencia es que estas tareas también consumen mucho tiempo de ingeniería y se realizan de forma inconsistente de un ingeniero a otro.

Tomemos como ejemplo la revisión de código. Una hora de un ingeniero, con todos los costes incluidos, puede costar 50. Una revisión de Bugbot cuesta menos de un dólar y no deja de mejorar. La última versión es más de 3 veces más rápida, un 22 % más barata y detecta un 10 % más de errores. Para esa cuenta no hace falta un sofisticado modelo de ROI.

Cost of one PR reviewIllustrativeHuman review30 minutes at a $100 fully loaded hour$50Bugbot reviewOne PRUnder $1
A half hour of human review costs about $50 at a $100 fully loaded engineer hour, while a Bugbot review of the same pull request costs under $1.

Hay una estrategia sencilla para cualquier flujo de trabajo con agentes en la nube: primero haz que funcione, luego hazlo excelente y, por último, hazlo barato. El tiempo juega a tu favor. El coste de la inteligencia no hará más que bajar con el paso de los meses.

4. ¿Qué métricas debería seguir?

Elige métricas alineadas con lo que buscas lograr. Por lo general, eso implica tres etapas. Empieza por la adopción: ¿la gente realmente usa las herramientas? Luego mide métricas de ingeniería: ¿entregas más rápido? ¿Lo haces de manera eficiente? Solo después de demostrarlo deberías intentar vincular esas mejoras con el negocio.

Para medir la adopción, deja de lado las líneas de código y el gasto en tokens. Ambas son fáciles de manipular y pueden fomentar comportamientos contraproducentes. En su lugar, mide cuántos ingenieros usan las herramientas a diario y con qué profundidad las utilizan.

En cuanto a las métricas de ingeniería, estas suelen funcionar bien. Combínalas con métricas de medidas de seguridad para detectar si las mejoras tienen un costo en otros aspectos.

  • Velocidad: velocidad de las PR, tasa de finalización de tickets, tasa de puntos de historia. Velocidad de entrega integral de proyectos frente a tu referencia previa a la IA.
  • Eficiencia: tiempo recuperado al automatizar tareas repetitivas y costo por tarea en esos flujos de trabajo.
  • Medidas de seguridad: volumen de errores, tasa de reversión, rotación de código.

Medir el impacto en el negocio es lo más difícil, y no voy a fingir que hay una respuesta sencilla. Cuanto mayor sea tu gasto en IA, mayor será la presión para vincularlo con los resultados del negocio. Y con razón. A la junta directiva de tu compañía no le importan tus métricas de ingeniería. Quieren ver impacto en los resultados brutos y netos.

5. ¿Debo establecer presupuestos de gasto por ingeniero?

Probablemente sí. El lugar donde los establezcas depende en gran medida de tu compañía, y no hay una cifra única que sea correcta. Aquí tienes algunos consejos aplicables en la mayoría de los casos.

Usa límites flexibles que puedan aumentarse en lugar de límites estrictos, y facilita el primer aumento. Así se genera conciencia sobre el gasto, pero la decisión sigue estando principalmente en manos de tus ingenieros. Después, aplica una revisión más exhaustiva a medida que los aumentos sean mayores. El gasto en IA no es tan diferente de contratar a un profesional externo, y no emitirías un cheque en blanco para eso.

También cabe esperar una distribución de ley de potencias. Algunos ingenieros gastarán mucho más que otros, y eso no tiene por qué ser malo. Nuestros datos de uso muestran una gran diferencia entre los usuarios avanzados y el resto, y quienes más gastan suelen ser algunos de los usuarios más eficientes de IA de toda la compañía.

6. ¿Cómo debo revisar mi gasto en IA?

No te va a gustar esta respuesta: debes revisar tu gasto periódicamente, en colaboración con tu equipo financiero. La mayoría de las organizaciones de software ya supervisan y optimizan su gasto en la Cloud con verdadera disciplina. Si estás leyendo este artículo, probablemente tu gasto en IA sea lo bastante elevado como para merecer el mismo trato. Tu equipo financiero te lo agradecerá. Estas cuestiones están tan presentes para los CFO que lanzamos un CFO Council específicamente para abordarlas.

Segmenta los datos de uso de cuatro maneras: por equipo, por proyecto, por flujo de trabajo y por tipo de trabajo. Una buena prueba para saber si tienes la visibilidad que necesitas es esta: ¿puedes responder preguntas como las siguientes?

  • ¿Cuánto de mi gasto se destina a cada una de mis tres principales iniciativas de producto?
  • Un ingeniero de mi equipo gastó $10k en tokens el mes pasado. ¿Fue un gasto productivo?
  • ¿Cuál es mi costo mediano en tokens para solucionar un error y cuál es su tendencia?

Investiga los valores atípicos y cualquier partida grande de gasto «desconocido». Profundiza hasta que entiendas todo y tengas claro cómo está aportando valor a tu negocio.

Luego, actúa según lo que encuentres. Redobla la inversión en las áreas donde la IA realmente funciona. Asigna más presupuesto, no menos, a tus usuarios con un ROI alto. Por último, procura que los cambios presupuestarios se acerquen lo más posible a una suma cero. Si un área necesita excederse mucho, ese presupuesto tiene que salir de algún otro lugar.

7. ¿Cómo debería guiar a mi equipo?

Es fácil caer en malos hábitos cuando no eres quien paga la factura y, en muchas organizaciones, los equipos ni siquiera llegan a verla. Así que empieza por dar visibilidad sobre los costes.

Después, haz que la responsabilidad se traslade en cascada a lo largo de la cadena de gestión. Los responsables de ingeniería de primera línea deberían considerar parte de su trabajo asegurarse de que el gasto en IA de su equipo sea dinero bien invertido, igual que harían con una decisión de contratación o una gran inversión para abordar deuda técnica.

Si aciertas con esas dos cosas, gran parte de la orientación se resolverá sola. Los ingenieros tienden a optimizar. Dales visibilidad sobre el coste y la responsabilidad del resultado, y encontrarán por sí mismos el camino más eficiente.

Archivado en: Strategy