Modellleistung und Agentenaufbau getrennt einkaufen

Kurzfassung: Die Leistung eines Coding-Agenten entsteht aus dem Modell und dem Softwareaufbau, der seine Arbeit organisiert. Ein Systemergebnis lässt sich deshalb nicht allein dem Modell zuschreiben. Für die Beschaffung lohnt eine getrennte Abnahme: Welche Leistung bleibt bei einem Modellwechsel erhalten, welche hängt an der Orchestrierung – und welche Rechte an diesem Aufbau erhält das Unternehmen?

Ein Integrator zeigt einen Agenten, der eine Softwareänderung selbstständig umsetzt und prüft. Das Ergebnis überzeugt. Im Angebot steht anschließend vor allem der Name des verwendeten Modells. Damit bleibt eine wirtschaftlich wichtige Frage offen: Kauft das Unternehmen dessen Fähigkeiten, einen besonderen Agentenaufbau oder eine Kombination, deren einzelne Beiträge noch niemand geprüft hat?

Diese Unterscheidung ist keine Wortklauberei. Wer nur den Modellzugang wechseln kann, besitzt noch keinen austauschbaren Arbeitsablauf. Umgekehrt muss ein aufwendiger Agentenaufbau nicht dauerhaft notwendig bleiben, wenn ein neues Modell bestimmte Aufgaben bereits ohne ihn bewältigt.

Ein Agentenergebnis gehört nicht allein dem Modell

Anthropic erläutert in einem Engineeringbericht vom 6. Januar 2025, dass SWE-bench nicht ein Sprachmodell isoliert bewertet, sondern ein Agentensystem. Zu diesem System gehört Software, die Eingaben erzeugt, Modellausgaben in Aktionen übersetzt und Werkzeugergebnisse in den nächsten Arbeitsschritt zurückführt. Derselbe Modellkern kann mit unterschiedlichem Aufbau unterschiedliche Ergebnisse liefern.

Das englische Wort „Harness“ bezeichnet hier diesen ausführenden Agentenaufbau außerhalb der Modellgewichte. Dazu können Werkzeugbeschreibungen, Planung, Kontextübergaben, Wiederholungen und zusätzliche Prüfagenten gehören. Davon zu unterscheiden ist eine Evaluationsumgebung, die fertige Änderungen bewertet. Beide werden gelegentlich als Harness bezeichnet, erfüllen aber verschiedene Aufgaben: Der eine Aufbau erzeugt die Lösung, der andere misst ihren Erfolg.

Die alte Veröffentlichung ist keine aktuelle Rangliste. Ihre methodische Aussage bleibt jedoch relevant: Ein Ergebnis einer bestimmten Kombination belegt nicht dieselbe Leistung des unveränderten Modells in jeder anderen Umgebung. Ebenso wenig belegt es, dass die umgebende Software mit beliebigen Modellen gleich gut funktioniert.

Der Aufbau muss mit dem Modell neu betrachtet werden

Einen konkreten Entwicklungsfall beschreibt Anthropic in seinem Bericht vom 24. März 2026. Der Autor entwickelte einen Aufbau mit Planer, Erzeuger und Prüfer für längere Softwareaufgaben. Beim späteren Wechsel von Opus 4.5 zu Opus 4.6 untersuchte er, welche Bestandteile weiterhin nötig waren. Unter anderem entfiel eine zuvor verwendete Unterteilung der Arbeit in einzelne Sprints.

Der Bericht beschreibt auch, dass eine radikale Vereinfachung zunächst nicht die Leistung des ursprünglichen Aufbaus erreichte. Danach entfernte der Autor Komponenten einzeln und betrachtete deren Wirkung. Das ist die für Einkäufer interessante Vorgehensweise: Nicht die gesamte zusätzliche Software gilt pauschal als wertvoll oder überflüssig. Ihre Bedeutung wird am tatsächlich verwendeten Modell und an der Aufgabe geprüft.

Diese Darstellung stammt vom Modellanbieter. Sie ist keine unabhängige Replikation und kein allgemeiner Wirtschaftlichkeitsnachweis. Die gezeigten Anwendungen unterscheiden sich zudem im Umfang; ihre Kosten und Laufzeiten erlauben keinen sauberen Vergleich aller Varianten. Aus dem Fall folgt weder eine generelle Überlegenheit komplexer Agentensysteme noch ein neuer Leistungsrekord. Er macht eine engere Abhängigkeit sichtbar: Ein Aufbau kann Schwächen einer Modellgeneration ausgleichen und bei einer anderen teilweise unnötig werden.

Zwei Liefergegenstände statt eines Modellnamens

Für ein Unternehmen entstehen damit zwei Beschaffungsgegenstände. Der erste ist der Modellzugang mit seinen Nutzungsbedingungen, Versionen und Preisen. Der zweite ist die Software, die daraus einen Arbeitsablauf macht: Konfigurationen, Werkzeugschnittstellen, Zustandsverwaltung, Prüfregeln und Betrieb.

Beides kann aus einer Hand kommen. Getrennt benennen sollte man es trotzdem. Sonst bleibt bei einer späteren Änderung unklar, welche Leistung der Lieferant erhalten muss. Ein neuer Modellname ist kein ausreichender Nachweis, dass die bisherige Agentenarbeit weiter funktioniert. Ein unveränderter Agentenaufbau kann wiederum unnötige Wiederholungen und Prüfaufrufe enthalten, die ursprünglich einen konkreten Modellfehler abfangen sollten.

Der Einkauf sollte deshalb klären, wer den Aufbau pflegt, wer bei einem Modellwechsel die Anpassung bezahlt und welche Bestandteile übergeben werden. Gehören dem Kunden nutzbare Konfigurationen und Schnittstellenbeschreibungen? Darf ein anderer Dienstleister sie weiterentwickeln? Sind bestimmte Komponenten nur als betreuter Dienst verfügbar? Das sind Vertragsfragen, keine automatisch mit einer Modelllizenz erworbenen Rechte.

Nicht jede proprietäre Lösung ist dadurch unattraktiv. Sie kann gute Leistung liefern und bewusst gewählt werden. Die Bindung sollte dann aber als Bindung an ein Gesamtsystem verstanden werden, nicht als vermeintlich leicht austauschbarer Modellzugang.

Eine kleine Austauschprobe zeigt die Abhängigkeit

Ein hypothetischer technischer Dienstleister lässt einen Coding-Agenten Änderungen an einem internen Kundenportal vorbereiten. Für die Abnahme wählt das Entwicklungsteam mehrere typische, bislang nicht im Pilot optimierte Aufgaben. Die Tests und zulässigen Zugänge stehen vorher fest.

Zunächst wird die angebotene Kombination geprüft. Danach wird, soweit technisch möglich, nur das Modell ausgetauscht; der Agentenaufbau bleibt gleich. In einer weiteren Variante bleibt das ursprüngliche Modell erhalten, während ein klar benannter Bestandteil des Aufbaus entfernt oder durch eine einfache Alternative ersetzt wird. Bei überschaubarem Aufwand lässt sich auch die vierte Kombination testen: alternatives Modell mit vereinfachtem Aufbau.

Das ist kein Anspruch, jedes Modell müsse ohne Anpassung in jede Software passen. Scheitert der Austausch bereits an einer nicht unterstützten Werkzeugschnittstelle, ist das ein Befund zur Portierbarkeit, noch kein Beweis schlechter Modellleistung. Notwendige Anpassungen werden dokumentiert und ihr Aufwand dem Vergleich zugerechnet.

Damit die Probe etwas aussagt, müssen Aufgaben, Ausgangscode, Datenzugang, Abnahmekriterien und Ressourcenrahmen vergleichbar bleiben. Ein Aufbau mit vielen zusätzlichen Versuchen darf nicht gegen einen einzelnen Modellaufruf antreten und anschließend seinen gesamten Vorsprung als bessere Orchestrierung verkaufen. Zeit- und Verbrauchsgrenzen sowie die tatsächlich genutzten Ressourcen gehören deshalb in den Befund. Wiederholte Läufe helfen, einzelne Zufallsergebnisse nicht zu überschätzen.

Ein Unterschied ist ein Befund, kein Eigentumsnachweis

Zeigt die Austauschprobe, dass die Leistung vor allem an einem bestimmten Aufbau hängt, erhält dessen Wartung Gewicht. Das Unternehmen braucht dann nicht nur einen günstigeren Modellpreis, sondern Zugang zu den entscheidenden Komponenten oder eine belastbare Vereinbarung über deren Weiterbetrieb.

Bleibt die Leistung ohne einen zusätzlichen Prüfschritt erhalten, kann dessen Aufwand neu bewertet werden. Das rechtfertigt aber nur Aussagen über die untersuchten Aufgaben. Ein Prüfer, der bei einfachen Änderungen wenig beiträgt, kann bei schwierigen Fällen wichtig bleiben. Außerdem ersetzt ein im Agentenaufbau entfernter Prüfschritt nicht automatisch die unabhängige Abnahme des erzeugten Codes.

Die Probe zeigt technische Abhängigkeiten. Sie entscheidet weder über Urheberrechte noch beweist sie allein, welcher Anbieter welchen Anteil am Erfolg „besitzt“. Modell und Aufbau können sich gegenseitig ergänzen. Gerade deshalb sollten Nutzungsrechte, Lieferumfang und Wartung ausdrücklich vereinbart werden statt aus einem Testergebnis abgeleitet zu werden.

Vor dem nächsten Agentenauftrag genügt eine konkrete Ergänzung der Leistungsbeschreibung: Der Lieferant benennt Modell und Agentenaufbau getrennt, dokumentiert die geprüfte Kombination und unterstützt eine begrenzte Austauschprobe. Die Abnahme beantwortet dann nicht nur, ob die Demo funktioniert. Sie zeigt, welchen Teil der Leistung das Unternehmen tatsächlich wechseln, übernehmen oder gesondert weiterbezahlen muss.