Weniger Nutzungszeit kann mehr Produktwert sein

Kurzfassung: Ein KI-Assistent kann ein digitales Produkt verbessern, obwohl Kunden anschließend weniger Zeit darin verbringen. Dafür muss ihre Absicht tatsächlich erfüllt sein. Das bereits 2010 veröffentlichte HEART-Framework trennt Beteiligung und Aufgabenerfolg. Für Produktverantwortliche folgt daraus eine konkrete Aufgabe: Kürzere Interaktionen zusammen mit erfolgreichen Abschlüssen, Fehlern und späteren Rückfragen bewerten – nicht als isoliertes Sparziel.

Ein Kunde öffnet ein Portal, sucht eine Information und verlässt es wieder. War das ein guter Besuch? Die Sitzungsdauer beantwortet diese Frage nicht. Eine kurze Nutzung kann bedeuten, dass er sofort gefunden hat, was er brauchte. Sie kann ebenso bedeuten, dass er frustriert aufgegeben hat. Eine lange Sitzung kann Interesse zeigen oder eine Suche, die nicht funktioniert.

Die im Moonshots-Gespräch mit Mark Pincus diskutierte Idee einer absichtsvolleren Nutzung sozialer Anwendungen macht diesen Zielkonflikt anschaulich. Wenn KI Menschen unnötige Interaktionen abnimmt, kann gerade die sinkende Nutzungszeit das gewünschte Ergebnis sein. Ob ein bestimmtes Produkt diesen Nutzen bereits erreicht, ist damit nicht belegt. Die dahinterliegende Messfrage lässt sich jedoch präzise bearbeiten.

Beteiligung und Aufgabenerfolg sind verschiedene Ziele

Eine hilfreiche Grundlage ist keine neue KI-Studie, sondern ein Beitrag von Kerry Rodden, Hilary Hutchinson und Xin Fu zur CHI 2010. Die Google-Forschenden beschreiben darin das HEART-Framework für nutzerzentrierte Produktmetriken. Es unterscheidet Zufriedenheit, Beteiligung, erstmalige Nutzung, Bindung und Aufgabenerfolg: Happiness, Engagement, Adoption, Retention und Task Success.

Diese Kategorien sind kein Auftrag, jede Kennzahl gleichzeitig zu maximieren. Die Autoren betonen, dass nicht jede Kategorie für jedes Produkt sinnvoll ist. Beteiligung kann etwa bei verpflichtend genutzter Unternehmenssoftware wenig aussagekräftig sein. Aufgabenerfolg umfasst dagegen Effektivität, Effizienz und Fehlerquote – also auch, ob eine Aufgabe abgeschlossen wird und wie viel Zeit sie benötigt.

Schon das damalige Papier warnt vor einer mehrdeutigen Interpretation von Seitenaufrufen. Sie können steigen, weil eine Funktion beliebt ist. Sie können aber auch steigen, weil Menschen sich in einer verwirrenden Oberfläche verirren. Mehr Aktivität ist deshalb nicht automatisch mehr Nutzen.

Auf KI-Produkte übertragen ergibt sich daraus eine redaktionelle Folgerung: Ein Assistent, der Informationen bündelt oder eine Aufgabe vorbereitet, darf nicht allein daran gemessen werden, ob Kunden häufiger klicken oder länger im Dialog bleiben. Sonst erhält das Produktteam einen Anreiz, die Interaktion zu verlängern, die es eigentlich verkürzen soll.

Die Absicht muss vor der Kennzahl feststehen

Das HEART-Papier schlägt den Weg von Zielen über beobachtbare Signale zu konkreten Metriken vor: Goals–Signals–Metrics. Am Anfang steht also nicht das vorhandene Analyse-Dashboard. Zuerst klärt das Team, was die Nutzer mit einer Funktion erreichen sollen.

Bei einer sozialen Anwendung kann das durchaus ein längeres Gespräch mit Freunden sein. Weniger Zeit wäre dann kein allgemeingültiger Fortschritt. Anders liegt der Fall, wenn jemand nur herausfinden möchte, welche Termine in seiner Gruppe vereinbart wurden. Eine verständliche Zusammenfassung könnte diese Absicht mit weniger Suche erfüllen. Beide Situationen dürfen nicht in derselben Zeitkennzahl verschwinden.

Die Produktverantwortung muss deshalb zwischen selbst gewählter Beschäftigung und vermeidbarem Bedienaufwand unterscheiden. Sie entscheidet nicht stellvertretend, welche Freizeit wertvoll ist. Sie prüft, ob das Produkt bei der von den Nutzern gewählten Absicht hilft oder sie unnötig aufhält. Das ist auch eine Grenze für Personalisierung: Aus häufigem Öffnen allein lässt sich kein verlässlich gewünschtes Ziel ableiten.

Ein kürzerer Portalbesuch kann Arbeit nur verlagern

Ein gedachtes Mittelstandsbeispiel ist das Serviceportal eines Anlagenlieferanten. Kunden möchten dort den Wartungstermin und die dafür nötigen Unterlagen finden. Ein KI-Assistent stellt beides direkt zusammen. Nach der Einführung sinken Seitenaufrufe und Sitzungsdauer.

Für die Produktleitung wäre es voreilig, daraus einen Erfolg oder eine Verschlechterung abzuleiten. Zunächst zählt, ob Kunden den richtigen Termin und die passenden Unterlagen erhalten haben. Anschließend stellt sich die Frage, ob sie deswegen seltener nachfragen müssen. Ein kurzer Besuch mit einem anschließenden Anruf hat die Arbeit möglicherweise nur vom Portal in den Kundendienst verschoben.

Ein begrenzter Produkttest könnte deshalb drei Beobachtungen zusammenführen: den Anteil erfolgreich erledigter Anliegen, die dafür benötigte aktive Bedienzeit und nachfolgende Rückfragen zum selben Anliegen. Fehlerhafte Auskünfte und abgebrochene Versuche bleiben gesondert sichtbar. Die Zeitmessung sollte außerdem unterscheiden, ob ein Mensch die Anwendung aktiv bedient oder lediglich einen geöffneten Tab stehen lässt.

Das ist ein vorgeschlagenes Prüfdesign, kein Ergebnis aus dem HEART-Papier und kein dokumentierter Kundenfall. Sein Nutzen liegt in der gemeinsamen Bezugsgröße: Alle Beobachtungen betreffen dieselbe Nutzerabsicht. Eine schnellere Antwort auf eine andere Frage wäre kein gleichwertiger Erfolg.

Nicht nur erfolgreiche Sitzungen zählen

Auch eine auf den ersten Blick bessere Kennzahl kann täuschen. Misst ein Team nur die Bearbeitungszeit erfolgreicher Fälle, verschwinden gescheiterte Versuche aus dem Vergleich. Werden schwierige Anliegen häufiger abgebrochen, kann die durchschnittliche Zeit der verbleibenden Erfolge sinken, obwohl das Produkt insgesamt schlechter geworden ist.

Deshalb gehören Abschlussquote und Zeitaufwand nebeneinander. Ungeklärte Ausgänge bleiben ungeklärt, statt als Erfolg verbucht zu werden. Eine kurze Nachfrage bei einer geeigneten Stichprobe kann helfen, die aus Nutzungsprotokollen vermutete Absicht mit dem tatsächlich Erreichten abzugleichen. Das passt zur Einschränkung des Originalpapiers: Protokolldaten lassen nicht immer erkennen, welche Aufgabe jemand erledigen wollte; Metriken ersetzen Nutzerforschung nicht.

Für einen fairen Vergleich müssen außerdem ähnliche Anliegen und Nutzergruppen betrachtet werden. Neue und erfahrene Nutzer benötigen möglicherweise unterschiedlich viel Unterstützung. Ein leichterer Fallmix kann den Zeitbedarf senken, ohne dass die KI etwas verbessert hat.

Der Produktauftrag braucht eine eindeutige Priorität

Für die nächste Entwicklungsrunde reicht eine eng begrenzte Entscheidung. Produktleitung und Fachbereich wählen eine wiederkehrende Nutzerabsicht aus und beschreiben, woran deren Erfüllung erkennbar wäre. Dazu vereinbaren sie eine Zeitmessung und wenige Gegenmetriken für Fehler, Abbruch und verlagerten Aufwand. Erst dann vergleichen sie die bisherige Nutzung mit der unterstützten Variante.

Die kaufmännische Seite bleibt wichtig. Weniger Interaktion kann Erlöse aus Werbung oder zusätzliche Verkaufskontakte berühren. Dieser Zielkonflikt sollte ausdrücklich entschieden werden, statt unbemerkt über eine Vorgabe für steigende Verweildauer in die Entwicklung einzuziehen. Nutzerwert und kurzfristiger Erlös sind nicht dieselbe Kennzahl.

Ein hilfreicher Assistent muss Menschen nicht möglichst schnell aus jedem Produkt herausbringen. Er sollte ihnen aber erlauben, ein erledigtes Anliegen auch wirklich zu beenden. Für das Produktteam wäre dann nicht die längste Sitzung der Erfolg, sondern ein zuverlässig erfüllter Zweck ohne unnötige nächste Runde.