Ein flüssiges KI-Video ist noch kein Gespräch

Kurzfassung: Ein Videomodell kann flüssige Bilder erzeugen und trotzdem zu spät auf eine neue Eingabe reagieren. Wan-Streamer beschreibt einen Ansatz für kontinuierliche audiovisuelle Interaktion. Für die Beschaffung zählt deshalb eine eigene Arbeitsprobe: Reagiert das System rechtzeitig, lässt es sich unterbrechen und behält es den Gesprächszustand auch nach einer Korrektur?

Ein digitaler Serviceassistent erklärt ein Bauteil. Die Kundin hält plötzlich ein anderes Modell in die Kamera und korrigiert ihre Frage. Der Assistent spricht weiter über das erste. Seine Lippen bewegen sich sauber, das Bild läuft flüssig. Nur das Gespräch ist bereits gescheitert. Wer einen solchen Dienst bestellt, muss die Reaktion auf laufende Eingaben prüfen, bevor er die visuelle Qualität zum entscheidenden Auswahlkriterium macht.

Was Wan-Streamer tatsächlich beschreibt

Das Wan-Team von Alibaba stellt im Preprint zu Wan-Streamer v0.1 einen Ansatz vor, der Sprache, Audio und Video als Ein- und Ausgabe in einem gemeinsamen Modell verarbeitet. Die erste Fassung wurde am 23. Juni 2026 eingereicht; die hier gelesene dritte Fassung stammt vom 29. Juni. Es handelt sich um einen Forschungsbericht aus dem Sommer, nicht um eine neue Produktfreigabe im Oktober.

Der Ansatz ist auf einen fortlaufenden Austausch ausgelegt. Während das System antwortet, soll es weiterhin hören und sehen können. Neu eingehende Beobachtungen und bereits erzeugte Antworten werden Teil derselben Interaktionshistorie. Die Autoren beschreiben damit eine andere Aufgabe als das nachträgliche Erzeugen eines abgeschlossenen Clips.

Für ihren Betriebspfad mit zwei GPUs berichten sie ungefähr 200 Millisekunden modellseitige Reaktionslatenz. Die Messung beginnt, wenn eine Eingabeeinheit von 160 Millisekunden vorliegt, und endet bei der für die Ausgabe dekodierten Audio-Video-Antwort. Mit einem angesetzten bidirektionalen Netzwerkbudget von 350 Millisekunden ergeben sich rund 550 Millisekunden Gesamtinteraktion. Diese Abgrenzung ist wichtig: Die kleinere Zahl beschreibt weder beliebige Kundennetze noch den gesamten Weg ab dem ersten gesprochenen Laut.

Auch die Bildqualität hat eine Grenze. Die Autoren nennen 192p als vorläufige Ausgabeauflösung ihres Machbarkeitsnachweises. Höhere Auflösungen bleiben weitere Arbeit. Die Angaben stammen von den Systemautoren; sie sind hier nicht unabhängig reproduziert. Aus dem Bericht folgt weder eine zugesicherte Betriebsqualität noch ein allgemeiner Kostenvorteil.

Bildrate und Antwortbeginn messen Verschiedenes

25 Bilder pro Sekunde sagen, wie oft neue Bilder erscheinen. Sie sagen nicht, wann eine neue Kundeninformation die Antwort verändert. Ein Avatar kann eine längst überholte Erklärung mit hoher Bildrate fortsetzen. Ebenso kann ein schnell verfügbares erstes Bild wenig nützen, wenn die fachlich passende Antwort erst deutlich später folgt.

Bei einem audiovisuellen Dienst umfasst die relevante Strecke Aufnahme, Übertragung, Wahrnehmung, Antwortbildung und die hörbare oder sichtbare Ausgabe am Endgerät. Manche Anbieterzahlen beziehen sich nur auf einen Bestandteil. Ein Vergleich setzt deshalb voraus, dass Anfang und Ende der Messung übereinstimmen. Auch die angegebene Auflösung, Hardware und Netzbedingung gehören dazu.

Das Paper macht diese Unterschiede ausdrücklich sichtbar. Seine Autoren warnen davor, modellinterne Zeiten, erste Datenpakete, Bildraten und vollständige Interaktionslatenz in eine einzige Rangliste zu werfen. Für Produktverantwortliche ist das unmittelbar brauchbar: Eine Anforderung wie „Echtzeit-Video“ bleibt zu unbestimmt, solange der Anbieter nicht erklärt, welcher Teil des Dienstes rechtzeitig reagieren soll.

Die passende Frist hängt vom Einsatz ab. Eine vorproduzierte Schulung kann auf ihren Renderlauf warten. Ein laufendes Servicegespräch benötigt rechtzeitige Rückmeldung auf eine Änderung. Für einen ersten Versuch sollte der Fachbereich daher konkrete Gesprächssituationen und akzeptable Reaktionszeiten festlegen. Die 550 Millisekunden aus dem Forschungsbericht sind kein universeller Abnahmewert.

Die Arbeitsprobe braucht eine Unterbrechung

Beim hypothetischen Serviceassistenten beginnt die Abnahme mit einer üblichen Erklärung. Während der Ausgabe korrigiert die Testperson die Produktbezeichnung oder zeigt ein anderes Bauteil. Beobachtet wird, wann die veraltete Erklärung endet und wann die neue Information in einer fachlich passenden Antwort erscheint. Ein kurzes Nicken zählt noch nicht als korrigierte Auskunft.

Anschließend folgt eine Rückfrage. Verwendet der Assistent weiterhin die korrigierte Bezeichnung? Bleiben bisher geklärte Angaben erhalten? Oder beginnt er das Gespräch scheinbar neu und verwechselt beide Modelle? So wird Zustandskontinuität an einem konkreten Fall geprüft, statt aus einer gelungenen Szene abgeleitet.

Die Probe sollte im vorgesehenen Endgerät und Netz laufen, zusätzlich unter den erwarteten gleichzeitigen Sitzungen. Neben typischen Reaktionszeiten interessieren die langsamen Fälle: Wie häufig kommt eine Antwort so spät, dass Nutzer erneut fragen oder abbrechen? Ein Mittelwert kann solche Ausfälle verdecken. Netzwerkbeiträge und lokale Verarbeitung müssen dabei auseinandergehalten werden, damit das Team die Ursache einer Verzögerung erkennen kann.

Auch ein Verbindungsabbruch gehört zum Versuch. Das System sollte nicht unbemerkt mit einem alten Bild oder einer nicht mehr gültigen Frage weiterarbeiten. Welche Rückmeldung, Wiederaufnahme oder Übergabe an einen Menschen sinnvoll ist, bestimmt der konkrete Dienst. Diese Prüfungen sind redaktionelle Empfehlungen für die Abnahme; der Preprint belegt ihre zuverlässige Erfüllung im Kundenbetrieb nicht.

Erst den Dienst festlegen, dann das Gesicht auswählen

Ein sichtbarer Avatar ist eine zusätzliche Produkteigenschaft. Er kann bei bestimmten Aufgaben helfen, verlangt aber Bildverarbeitung, Übertragung und visuelle Ausgabe. Für andere Servicefälle genügt möglicherweise Sprache mit einer statischen Oberfläche. Ob bewegte Bilder ihren Aufwand rechtfertigen, lässt sich nur am Nutzen für die tatsächliche Aufgabe beurteilen.

Der nächste Beschaffungsschritt kann deshalb klein bleiben: dieselben repräsentativen Fälle mit einer sprachbasierten und einer audiovisuellen Variante durchspielen. Verglichen werden erfolgreiche Klärungen, nötige Wiederholungen, Abbrüche und laufende Kosten. Für Kamera- und Audiodaten sind außerdem Datenwege, Speicherung und zulässige Nutzung vor dem Versuch zu klären. Eine Forschungsdemonstration ersetzt diese Prüfung nicht.

In die Bestellung gehört schließlich die vereinbarte Interaktionsleistung: wo Reaktionszeit gemessen wird, welche Unterbrechungen verarbeitet werden müssen und welche Informationen über die Sitzung hinweg erhalten bleiben sollen. Eine attraktive Videovorführung darf die Auswahl unterstützen. Die Abnahme besteht das System erst im laufenden Gespräch, wenn die nächste Eingabe die bisherige Antwort tatsächlich verändert.