Von David Pan

Gegen Ende letzten Jahres begann agentenbasiertes Engineering endlich zu funktionieren. Und sobald es funktionierte, wuchs alles auf einmal. Immer mehr Ingenieure nutzten die Tools und setzten sie für mehr Aufgaben ein. Gleichzeitig wurde jede Aufgabe durch mehr Denkfähigkeit und Tool-Aufrufe teurer. Diese drei Faktoren multiplizieren sich – deshalb stiegen die KI-Ausgaben vieler Engineering-Teams entlang einer J-Kurve steil an.

Diese Teams werden Ihnen sagen, dass sich die Ausgaben gelohnt haben. Sie liefern schneller aus und erzielen echten Mehrwert. Doch ob es sich lohnt oder nicht: Sie überschreiten ihre Budgets für 2026 deutlich, und fast jeder Kunde, mit dem wir derzeit sprechen, hat eine Variante desselben Auftrags: weiter beschleunigen UND die Kosten diszipliniert im Griff behalten.

Leichter gesagt als getan. Hier ist meine Einschätzung zu einigen der Fragen, die am häufigsten aufkommen.

#1. Sollte ich günstigere Modelle nutzen?

Fable & Opus sind offensichtlich ziemlich teuer. Die naheliegende Frage ist daher, ob du etwas Günstigeres nutzen kannst. Skepsis ist jedoch berechtigt. Wenn das günstigere Modell Arbeit liefert, die nachgebessert werden muss, hast du nichts gespart. Du zahlst doppelt und verschwendest Zeit.

Ende letzten Jahres war Opus 4.5 das einzige Modell, dem du bei anspruchsvollen Engineering-Aufgaben vertrauen konntest. Heute wird es von einem Dutzend Modellen übertroffen. Bei den Spitzenmodellen ist die Spanne bei der Intelligenz inzwischen ziemlich gering, während Preis und Geschwindigkeit stark variieren. Dieselbe Aufgabe lässt sich oft genauso gut zu einem Bruchteil der Kosten erledigen, wenn du das richtige Modell auswählst.

Die richtige Auswahl ist der Knackpunkt. Kein Modell ist für jede Aufgabe das beste, und die Spitze verändert sich alle paar Wochen. Es ist nicht zumutbar, von deinen Ingenieuren zu erwarten, dass sie diese Matrix im Kopf behalten. Wie sich herausstellt, ist dies eine weitere Aufgabe für KI. Wir haben einen Modell-Router entwickelt, der von einem speziell trainierten Modell unterstützt wird und genau das tut: Er ermittelt, welche Modelle eine bestimmte Aufgabe zuverlässig bewältigen können, und leitet sie dann an das günstigste Modell weiter, das die Anforderungen erfüllt. Unser Router liefert Benutzerzufriedenheit auf Fable-Niveau bei 68 % niedrigeren Kosten.

Also ja, günstigere Modelle sparen tatsächlich Geld. Lass deine Ingenieure nur nicht das Routing übernehmen.

#2. Sollte ich Open-Weight-Modelle verwenden?

Grundsätzlich ja. Wenn ein Open-Weight-Modell für eine bestimmte Aufgabe die beste Leistung pro Dollar bietet, gehört es in Ihren Mix – idealerweise wie alles andere hinter einem Router.

In der Praxis liegen sie zum Zeitpunkt dieses Schreibens jedoch nicht auf der Pareto-Grenze. Wenn wir die Evals durchführen und die Token-Effizienz statt nur des Listenpreises berücksichtigen, liefern die führenden Closed-Weight-Modelle weiterhin mehr Intelligenz pro Dollar.

Die gute Nachricht: Sie profitieren auch dann von Open-Weight-Modellen, wenn Sie selbst nie eines ausführen. Jedes führende Forschungslabor beobachtet das Open-Weights-Ökosystem genau, und es beeinflusst zweifellos die Preisgestaltung der Closed-Weight-Modelle. Unterstützen Sie Open Weights also weiterhin. So oder so profitieren Sie.

#3. Sollte ich Cloud-Agenten nutzen? Sind sie nicht teuer?

Derzeit sorgen „Softwarefabriken“ – Flotten von Cloud-Agenten, die rund um die Uhr Software produzieren – für viel Aufsehen. Eine typische Reaktion von Engineering-Führungskräften lautet etwa: Klingt großartig, aber ich habe ohnehin schon zu hohe Ausgaben.

Verständlich. Doch ein Großteil der Ausgaben, die ein Cloud-Agent verursachen könnte, fällt in deinem Unternehmen bereits jeden Tag an. Deine Ingenieure nutzen schon Agenten für Code-Reviews, Merge-Konflikte, CI-Fehler usw. Derzeit beanspruchen diese Aufgaben jedoch viel Engineering-Zeit und werden je nach Ingenieur unterschiedlich ausgeführt.

Nehmen wir Code-Reviews als Beispiel. Eine voll belastete Ingenieurstunde kann $100kosten,sodasseinehalbeStundef\ddot{u}rdieRevieweinerPR$50 kostet. Eine Bugbot-Review kostet weniger als einen Dollar und wird immer besser. Die neueste Version ist über dreimal schneller, 22 % günstiger und findet 10 % mehr Bugs. Dafür braucht es kein ausgefeiltes ROI-Modell.

Für jeden Cloud-Agent-Workflow gibt es ein einfaches Playbook: Erst zum Laufen bringen, dann optimieren, dann kostengünstig machen. Die Zeit arbeitet für dich. Die Kosten für KI werden mit der Zeit nur sinken.

#4. Welche Metriken sollte ich verfolgen?

Wähle Metriken, die zu deinen Zielen passen. Das bedeutet in der Regel drei Stufen. Beginne mit der Akzeptanz: Nutzen die Mitarbeitenden die Tools tatsächlich? Miss dann Engineering-Metriken: Lieferst du schneller aus? Lieferst du effizient aus? Erst wenn du das belegt hast, solltest du versuchen, diese Zugewinne mit dem Geschäftserfolg zu verknüpfen.

Bei der Akzeptanz solltest du Codezeilen und Token-Ausgaben außer Acht lassen. Beides lässt sich leicht manipulieren und kann zu kontraproduktivem Verhalten führen. Miss stattdessen, wie viele Ingenieure die Tools täglich nutzen und wie intensiv sie sie nutzen.

Für Engineering-Metriken eignen sich diese besonders gut. Ergänze sie um Leitplanken-Metriken, damit du erkennst, ob die Zugewinne an anderer Stelle Nachteile verursachen.

• Geschwindigkeit: PR-Geschwindigkeit, Ticket-Abschlussrate, Story-Point-Rate. End-to-End-Geschwindigkeit bei der Projektauslieferung im Vergleich zu deiner Ausgangsbasis vor KI.
• Effizienz: Durch die Automatisierung wiederholter Aufgaben eingesparte Zeit und Kosten pro Aufgabe in diesen Workflows.
• Leitplanken: Anzahl der Bugs, Rücksetzrate, Code-Fluktuation.

Die Auswirkungen auf das Geschäft zu messen, ist der schwierige Teil, und ich werde nicht so tun, als gäbe es darauf eine einfache Antwort. Je höher deine KI-Ausgaben werden, desto größer wird der Druck, sie mit Geschäftsergebnissen zu verknüpfen. Und das aus gutem Grund. Der Vorstand deines Unternehmens interessiert sich nicht für deine Engineering-Metriken. Er möchte Auswirkungen auf Umsatz und Ergebnis sehen.

#5. Sollte ich pro Ingenieur ein Ausgabenbudget festlegen?

Wahrscheinlich ja. Wo Sie diese Budgets festlegen, hängt stark von Ihrem Unternehmen ab, und es gibt keinen allgemeingültigen Betrag. Hier sind ein paar Tipps, die sich breit anwenden lassen.

Verwenden Sie flexible Obergrenzen, die sich anheben lassen, statt harter Limits, und gestalten Sie die erste Erhöhung möglichst unkompliziert. So schaffen Sie Bewusstsein für die Ausgaben, während die Entscheidung weitgehend bei Ihren Ingenieuren bleibt. Bei größeren Erhöhungen sollten Sie dann genauer prüfen. KI-Ausgaben unterscheiden sich nicht wesentlich von der Beauftragung eines Auftragnehmers – und dafür würden Sie schließlich auch keinen Blankoscheck ausstellen.

Rechnen Sie außerdem mit einer Potenzverteilung. Manche Ingenieure werden deutlich mehr ausgeben als andere, und das ist nicht zwangsläufig schlecht. Unsere Nutzungsdaten zeigen eine große Lücke zwischen Power-Usern und allen anderen, und die höchsten Ausgaben gehen oft mit besonders effizienter KI-Nutzung im gesamten Unternehmen einher.

#6. Wie sollte ich meine KI-Ausgaben überprüfen?

Diese Antwort wird dir nicht gefallen: Du solltest deine Ausgaben regelmäßig und gemeinsam mit deinem Finanzteam überprüfen. Die meisten Softwareunternehmen verfolgen und optimieren ihre Cloud-Ausgaben bereits sehr konsequent. Wenn du diesen Artikel liest, sind deine KI-Ausgaben wahrscheinlich hoch genug, um genauso behandelt zu werden. Dein Finanzteam wird es dir danken. Diese Fragen beschäftigen CFOs so sehr, dass wir einen CFO Council ins Leben gerufen haben, um sie gemeinsam zu erörtern.

Segmentiere die Nutzungsdaten auf vier Arten: nach Team, nach Projekt, nach Workflow und nach Art der Arbeit. Ein guter Test dafür, ob du die nötige Transparenz hast: Kannst du Fragen wie diese beantworten?

• Wie viel meiner Ausgaben entfällt auf jede meiner drei wichtigsten Produktinitiativen?
• Ein Ingenieur in meinem Team hat letzten Monat 10.000 $ für Token ausgegeben. Waren diese Ausgaben produktiv?
• Wie hoch sind meine medianen Token-Kosten zur Behebung eines Bugs, und wie entwickeln sie sich?

Untersuche die Ausreißer und alle großen Kategorien mit „unbekannten“ Ausgaben. Analysiere sie, bis du alles verstanden hast und nachvollziehen kannst, wie sie für dein Unternehmen Mehrwert schaffen.

Handle dann auf Grundlage deiner Erkenntnisse. Investiere stärker in die Bereiche, in denen KI wirklich funktioniert. Gib deinen Benutzern mit hohem ROI mehr Budget, nicht weniger. Versuche schließlich, Budgetänderungen möglichst ausgeglichen zu gestalten. Wenn ein Bereich deutlich mehr benötigt, muss es von irgendwoher kommen.

#7. Wie sollte ich mein Team coachen?

Wenn man die Rechnung nicht selbst bezahlt, verfällt man leicht in schlechte Gewohnheiten – und in vielen Organisationen bekommen die Teams die Rechnung nicht einmal zu Gesicht. Sorgen Sie daher zunächst für Kostentransparenz.

Verankern Sie Verantwortlichkeit dann entlang der Führungskette. Ihre Engineering Manager auf der ersten Führungsebene sollten es als Teil ihrer Aufgabe verstehen, sicherzustellen, dass die KI-Ausgaben ihres Teams sinnvoll eingesetzt sind – genauso wie bei einer Einstellungsentscheidung oder einer größeren Investition in technische Schulden.

Wenn Sie diese beiden Dinge richtig machen, ergibt sich der größte Teil des Coachings von selbst. Ingenieure optimieren. Geben Sie ihnen Transparenz über die Kosten und die Verantwortung für das Ergebnis, und sie finden selbst den effizientesten Weg.