Tausend Aufzeichnungen, dieselbe Lücke

Kurzfassung: Wer Computeragenten trainiert, sollte zusätzliche Daten nach bislang fehlenden Anwendungen und Zuständen auswählen. Viele ähnliche Bildschirmaufzeichnungen können dieselbe Lücke offenlassen. Forschungsbenchmarks zeigen, wie gezielt sich Aufgaben und Anfangszustände beschreiben lassen. Für den Einkauf ergibt sich daraus eine konkrete Frage: Welche zusätzliche Fähigkeit soll die nächste Trainingstranche ermöglichen?

Ein gedachter Großhändler lässt einen Agenten die Bearbeitung eingehender Bestellungen lernen. Dafür stehen zahlreiche Aufzeichnungen aus dem Innendienst bereit. Sie zeigen überwiegend denselben Ablauf: Auftrag öffnen, Kundendaten prüfen, Positionen übertragen. Als der Agent später mit einer abgelaufenen Sitzung und einem bereits teilweise gespeicherten Auftrag konfrontiert wird, hilft die Menge der normalen Durchläufe wenig. Genau diese Ausgangslage war im Lernmaterial nicht vorgesehen.

Das Beispiel beschreibt keinen dokumentierten Vorfall. Es macht eine Beschaffungsfrage sichtbar: Kauft das Unternehmen weitere Wiederholungen bekannter Abläufe oder erweitert es tatsächlich den Bereich, in dem sein Agent arbeiten kann? Eine hohe Stundenzahl beantwortet diese Frage nicht. Selbst verschiedene Beschäftigte können unter weitgehend gleichen Bedingungen immer wieder ähnliche Arbeitsschritte aufzeichnen.

Anwendungen allein beschreiben die Vielfalt nicht

Eine Liste unterstützter Programme ist ein Anfang. Für die Trainingsplanung bleibt sie jedoch zu grob. Innerhalb derselben Anwendung kann ein Auftrag neu, unvollständig, gesperrt oder bereits von einem Kollegen bearbeitet sein. Der nächste sinnvolle Schritt hängt dann vom Zustand ab, nicht allein vom sichtbaren Menü.

Das Forschungsprojekt OSWorld, erstmals im April 2024 veröffentlicht, beschreibt 369 Computeraufgaben mit realen Web- und Desktop-Anwendungen, Dateizugriffen und anwendungsübergreifenden Abläufen. Zu jeder Aufgabe gehören ein definierter Anfangszustand und ein eigenes ausführungsbasiertes Bewertungsskript. Damit lässt sich prüfen, was nach der Bearbeitung tatsächlich erreicht wurde, statt nur eine plausibel aussehende Klickfolge zu beurteilen.

Die im Juli 2026 überarbeitete Fassung von OSWorld 2.0 richtet den Blick auf 108 längere Arbeitsabläufe. Die Autoren wollen damit Phänomene erfassen, die in früheren Benchmarks unterrepräsentiert waren: etwa dynamische Umgebungen, Schlussfolgerungen über mehrere Quellen und Zustände, die ein Agent erst erschließen muss. Die Anzahl der Aufgaben ist kleiner als beim Vorgänger. Trotzdem ist der Untersuchungsgegenstand anspruchsvoller zugeschnitten. Bereits daran zeigt sich, weshalb eine Mengenzahl den Inhalt einer Sammlung nicht ausreichend beschreibt.

Beide Arbeiten behandeln die Bewertung von Computeragenten. Sie beweisen weder, dass künstlich erzeugte Trainingsdaten generell besser sind, noch, dass betriebliche Aufzeichnungen wenig nützen. Ihre methodische Anregung ist enger: Anfangszustände, Aufgaben und erwartete Ergebnisse lassen sich ausdrücklich beschreiben. Genau das sollte auch möglich sein, wenn ein Lieferant einen Trainingsbestand anbietet.

Die nächste Tranche beginnt bei den fehlenden Fällen

Im Großhandelsbeispiel könnte das Entwicklungsteam zunächst zusammentragen, welche Situationen bislang nicht zuverlässig beherrscht werden. Vielleicht verwechselt der Agent einen gespeicherten Entwurf mit einer verbindlich angelegten Bestellung. Vielleicht findet er nach einem Sitzungsablauf den zuvor bearbeiteten Auftrag nicht wieder. Vielleicht erwartet er eine Kundennummer in einem Feld, das bei einer anderen Kundengruppe fehlt.

Das sind unterschiedliche Lernprobleme. Mehr Aufzeichnungen des ungestörten Normalfalls wären nicht automatisch die beste Verwendung des nächsten Budgets. Der Auftrag an einen Datenlieferanten könnte stattdessen lauten: Diese bislang fehlenden Zustandsklassen sollen in einer nutzbaren Lernumgebung vorkommen, mit nachvollziehbarer Vorbereitung und überprüfbarem Endzustand.

Dafür kommen verschiedene Wege infrage. Gezielte Vorführungen erfahrener Beschäftigter können zeigen, welche Hinweise sie in einer echten Anwendung beachten. Eine nachgebildete Umgebung kann bestimmte Fehlerzustände kontrolliert herstellen und wiederholt anbieten. Vorhandene Forschungsumgebungen können allgemeine Bedienprobleme abdecken. Welche Kombination hilft, ist eine empirische Frage für das konkrete System. Der Einkauf sollte keinen dieser Wege allein wegen der Herkunft der Daten bevorzugen.

Auch eine künstliche Umgebung kann am Bedarf vorbeigehen. Fehlt dort beispielsweise die besondere Sperrlogik des eigenen Warenwirtschaftssystems, trainiert der Agent womöglich eine Lösung, die im Betrieb nicht funktioniert. Umgekehrt kann eine gezielte reale Demonstration eine wichtige Ausnahme sichtbar machen, die sich zuvor niemand für eine Simulation ausgedacht hat.

Ein zusätzlicher Fall ist noch kein zusätzlicher Nutzen

Die erste Abnahme betrifft deshalb den gelieferten Bestand: Sind die bestellten Situationen tatsächlich enthalten? Lassen sie sich herstellen? Ist erkennbar, woran Erfolg und Fehlschlag unterschieden werden? Dafür braucht der Kunde mehr als ein Videoarchiv mit ungeprüften Schlagworten.

Die zweite Prüfung betrifft den Agenten nach dem Training. Dafür werden andere Fälle zurückgehalten, die weder zur Erstellung des Lernmaterials noch zur laufenden Optimierung dienten. Im Beispiel könnten sie dieselbe fachliche Schwierigkeit mit veränderten Kundendaten, einer anderen Reihenfolge von Hinweisen oder einem abweichenden Zwischenstand enthalten. Ein bekannter Auftrag mit bloß geändertem Namen wäre als Transferprobe zu schwach.

Verglichen werden sollte eine dokumentierte Ausgangsversion mit der trainierten Variante unter vergleichbaren Bedingungen. Modell, Agentenaufbau und Ressourcenrahmen dürfen nicht nebenbei so verändert werden, dass sich ein Erfolg nicht mehr der Trainingstranche zuordnen lässt. Neben vollständiger Aufgabenerfüllung zählen die für diesen Prozess relevanten Fehler: etwa doppelt angelegte Bestellungen oder ein als abgeschlossen gemeldeter Entwurf. Diese vorgeschlagene Abnahme ist eine betriebliche Ableitung, kein von den genannten Studien getestetes Vertragsmodell.

Weniger beiläufig erfassen, gezielter beauftragen

Die Entscheidung für umfangreichere interne Aufzeichnungen hat eigene Kosten. Vorbereitung, Aufbereitung und Prüfung binden Arbeitszeit; die Nutzung von Personen- und Geschäftsdaten muss gesondert geklärt werden. Eine erwartete größere Datenmenge rechtfertigt diese Eingriffe nicht schon von selbst. Ebenso wenig macht die Bezeichnung „synthetisch“ eine Umgebung automatisch rechtlich oder fachlich unproblematisch.

Vor einer weiteren Erfassung sollte deshalb feststehen, welche Lücke damit geschlossen werden soll und welche Alternative es gibt. Das Entwicklungsteam beschreibt den fehlenden Zustand. Der Lieferant bietet einen Weg, ihn sinnvoll ins Training zu bringen. Ein zurückgehaltener Prüfbestand zeigt anschließend, ob der Agent mit verwandten neuen Fällen besser zurechtkommt.

So erhält die nächste Bestellung einen überprüfbaren Gegenstand. Bezahlt wird nicht bloß für mehr aufgezeichnete Arbeit, sondern für einen begründeten Versuch, den bislang unbeherrschten Teil der Aufgabe zu verkleinern. Fällt dieser Versuch negativ aus, bleibt wenigstens sichtbar, welche Lücke noch offen ist. Eine weitere tausendste Wiederholung hätte darüber womöglich nichts verraten.