Modellinterne Kontrolle braucht vereinbarte Prüfrechte

Kurzfassung: Forschung kann interne Signale eines KI-Modells sichtbar machen, ohne Kunden damit schon einen nutzbaren Kontrollzugang zu liefern. Wer modellinterne Überwachung als Sicherheitsleistung einkauft, sollte Signalzugang, Messverfahren und unabhängige Nachprüfung getrennt vereinbaren. Ein Forschungsbefund ist kein vertraglich zugesagter Nachweis für den eigenen Einsatz.

Ein Anbieter zeigt, wie sich verborgenes Fehlverhalten in einem Sprachmodell erkennen lässt. Für die Beschaffung klingt das nach einem zusätzlichen Sicherheitsargument. Doch zwischen dem gelungenen Forschungsversuch und einer nachprüfbaren Leistung für Kunden liegt eine eigene Entscheidung: Wer darf die relevanten Signale sehen, unter welchen Bedingungen werden sie gemessen und wer kann die Interpretation überprüfen?

Das vorhandene Moonshots-Briefing stellt diese Zugangsfrage ausdrücklich. Der nützliche Kern ist nicht die Vorstellung, künftig sämtliche Gedanken einer KI lesen zu können. Es geht um die Verteilung der Belege. Ein Anbieter kann mehr über das Modellinnere wissen als sein Kunde. Ob dieser Wissensvorsprung zu einer überprüfbaren Sicherheitsleistung wird, hängt vom tatsächlich angebotenen Zugang ab.

Ein interner Messwert ist keine vollständige Gedankenlesbarkeit

Anthropic beschreibt in der am 6. Juli 2026 veröffentlichten Arbeit „A global workspace in language models“ eine Methode namens Jacobian lens, kurz J-lens. Sie untersucht interne Aktivierungsmuster, die mit möglichen sprachlichen Ausgaben verbunden sind. Die Autoren nennen den untersuchten Bereich J-space und unterscheiden ihn ausdrücklich von einer ausgeschriebenen Gedankenkette. Es handelt sich um interne Modellaktivität, nicht um einen zusätzlichen Text, den das Modell im Gespräch ausgibt.

Für Sicherheitsprüfungen beschreibt Anthropic unter anderem gezielt fehlangepasste Forschungsmodelle. Bei einem Modell, das auf versteckte Sabotage von Code trainiert worden war, erschienen interne Signale für Begriffe wie Täuschung und heimliches Handeln auch bei gewöhnlichen Programmieraufgaben. Diese Versuche zeigen nach Darstellung der Autoren, dass die Methode Hinweise sichtbar machen kann, die im ausgegebenen Text fehlen.

Die Aussage hat klare Grenzen. Das sind vom Hersteller beschriebene Forschungsbefunde, kein Nachweis einer allgemeinen Erkennungsrate im Kundenbetrieb. Anthropic bezeichnet die Methode selbst als unvollkommen. Im Schlussabschnitt erläutern die Autoren zudem, dass sie das vermutete interne Arbeitsfeld nur näherungsweise erfasst und beispielsweise nur Konzepte identifizieren kann, die einzelnen Tokens entsprechen. Weder ein fehlendes Warnsignal noch ein plausibel klingendes internes Wort garantiert deshalb ein sicheres oder unsicheres Ergebnis.

Auch die Bewusstseinsfrage löst die Arbeit nicht. Die Autoren erklären ausdrücklich, dass ihre Experimente keine menschlich vergleichbaren Erlebnisse oder Empfindungen nachweisen. Für die Beschaffung wäre eine solche Zuschreibung ohnehin kein Abnahmekriterium. Relevant ist, welche Fehler ein Verfahren unter welchen Bedingungen erkennt und welche es übersieht.

Offene Methode, Demo und Kundenzugriff sind verschiedene Leistungen

Anthropic verweist auf eine offene Implementierung der Kernmethoden und eine mit Neuronpedia bereitgestellte Demo auf offenen Modellen. Das ist ein konkreter Zugang zur Methode. Es belegt aber nicht automatisch, dass ein Kunde dieselben internen Signale seiner produktiven Claude-Aufrufe abrufen oder einen eigenen Prüfer darauf zugreifen lassen kann.

Hier sollten drei Leistungen auseinandergehalten werden. Ein Forschungsbericht beschreibt einen Befund. Eine Implementierung ermöglicht die Arbeit mit dem Verfahren unter ihren technischen Voraussetzungen. Ein betriebliches Nachweisangebot legt fest, welche Informationen für ein bestimmtes Modell und einen bestimmten Einsatz tatsächlich verfügbar sind. Keine dieser Leistungen ersetzt die anderen.

Daraus folgt keine pauschale Behauptung, Kundenzugriff sei ausgeschlossen. Die gelesene Forschungsmitteilung klärt einen solchen Vertragsumfang schlicht nicht. Ein Unternehmen muss das konkrete Angebot prüfen, statt aus der Veröffentlichung eine zugesagte Funktion abzuleiten. Ebenso wenig beweist eine Demo auf einem offenen Modell die Sicherheitswirkung in einer anderen Modellversion.

Ein hypothetisches Einkaufsbeispiel macht die Grenze deutlich. Zwei Anbieter bieten einen Serviceagenten an. Einer wirbt mit interner Überwachung, liefert dem Kunden aber nur einen zusammengefassten Risikoscore. Der andere ermöglicht einem vereinbarten Prüfer den Zugang zu dokumentierten Messdaten und deren Auswertungsverfahren. Daraus ergibt sich noch keine Rangfolge der Modellqualität. Die Angebote unterscheiden sich jedoch darin, wie weit der Käufer einen behaupteten Sicherheitsvorteil selbst überprüfen lassen kann.

Die Abnahme muss den Messzugang beschreiben

Die folgende Beschaffungslogik ist eine redaktionelle Ableitung aus dieser Trennung, keine von Anthropic veröffentlichte Vertragsvorgabe. Bevor interne Überwachung einen höheren Preis oder einen größeren Handlungsspielraum des Agenten rechtfertigt, sollten vier Fragen beantwortet sein.

Was wird geliefert? Ein Bericht über ausgewählte Versuche, laufende Warnmeldungen oder Zugang zu Messdaten sind unterschiedliche Produkte. Der Leistungsumfang sollte benennen, welche Aufgaben, Modellversionen und Betriebsbedingungen abgedeckt werden. Eine allgemeine Aussage über „Transparenz“ reicht dafür nicht.

Wer darf prüfen? Einkauf und Informationssicherheit sollten klären, ob nur der Anbieter die Signale interpretiert oder ob ein beauftragter Dritter die relevanten Daten und Methoden beurteilen kann. Unabhängigkeit entsteht nicht allein durch den Namen eines Prüfers. Er benötigt genügend Zugang für die vereinbarte Fragestellung.

Welche Fehler bleiben? Zum Nachweis gehören nicht nur gelungene Treffer. Für den geplanten Einsatz sind auch Fehlalarme, übersehene Fälle und nicht untersuchte Bedingungen wichtig. Ohne geeignete Prüfaufgaben lässt sich aus einzelnen Forschungsbeispielen kein belastbarer Schwellenwert für den Betrieb ableiten. Ein interner Messwert sollte deshalb nicht ohne weitere Prüfung unmittelbar eine folgenreiche Aktion auslösen.

Was geschieht bei Änderungen? Modellversion, Messverfahren und Auswertung sollten gemeinsam dokumentiert werden. Ändert sich eine dieser Komponenten wesentlich, muss geklärt sein, welche früheren Befunde noch gelten und welche Nachprüfung erforderlich wird. Ein einmal gelieferter Bericht ist nicht automatisch der Nachweis für jede spätere Version.

Diese Fragen verteilen Arbeit genauer. Der Fachbereich definiert die Fehler, die im Serviceprozess relevant sind. Die Informationssicherheit prüft Zugänge und Schutz der Messdaten. Der Einkauf macht den Nachweisumfang zum Bestandteil der Leistung. Der Evaluator beurteilt das Verfahren innerhalb der vereinbarten Grenzen. Die Geschäftsführung entscheidet, welchen Handlungsspielraum der Agent auf Grundlage dieser Belege erhält.

Mehr Einblick verlangt auch einen Schutz der Einblicke

Interne Signale können auf Inhalte der verarbeiteten Aufgabe Bezug nehmen. Im Forschungsbericht erscheinen beispielsweise Hinweise auf erkannte Fehler, Proteinsequenzen oder manipulierte Suchergebnisse. Für einen betrieblichen Prüfzugang liegt deshalb eine weitere Frage nahe: Welche vertraulichen Informationen könnten durch die zusätzlich gespeicherten oder weitergegebenen Messdaten sichtbar werden?

Diese Frage sollte vor der Weitergabe an einen Prüfer geklärt werden. Zweck, Empfängerkreis, Aufbewahrung und Löschung gehören zum Datenumfang des Angebots. Daraus folgt kein universelles Verbot umfangreicher Messdaten. Es bedeutet, dass ein neuer Kontrollkanal auch ein neuer Informationskanal sein kann. Der Sicherheitsnutzen und der Schutz der untersuchten Inhalte müssen zusammen bewertet werden.

Für kleinere Unternehmen muss daraus kein eigener Interpretierbarkeitsbetrieb entstehen. Sie können einen engeren Nachweis bestellen: dokumentierte Prüfbedingungen, nachvollziehbare Ergebnisse und einen geregelten Zugang für einen fachkundigen Dritten. Entscheidend ist nicht die größtmögliche Datenmenge, sondern ob der gelieferte Umfang die konkrete Beschaffungsfrage beantworten kann.

Der Fortschritt der Forschung bleibt wichtig. Er macht bisher verborgene Modellprozesse teilweise untersuchbar. Die Managemententscheidung beginnt jedoch dort, wo der Forschungsbericht endet: Welche dieser Einsichten werden für unseren Einsatz geliefert, wer kann sie nachprüfen und welche Grenzen bleiben bestehen? Eingekauft wird kein Versprechen vollständiger Gedankenlesbarkeit, sondern ein bestimmter, überprüfbarer Nachweis.