Stellt euch vor, ihr kauft ein Computerspiel, um euch zu unterhalten. Während ihr spielt, entsteht nebenbei ein riesiger Datensatz darüber, wie ihr auf Belohnungen, Frustration, Herausforderungen und bestimmte Spielmechaniken reagiert.
Jetzt stellt euch vor, der eigentliche wirtschaftliche Wert dieser Daten besteht gar nicht darin, herauszufinden, wer ihr seid, sondern darin, zukünftige Produkte so zu gestalten, dass ihr euch möglichst zuverlässig auf eine bestimmte Weise verhaltet.
Dann wäre das Spiel nicht mehr nur ein Unterhaltungsprodukt, sondern gleichzeitig ein Instrument zur Erforschung und Optimierung menschlicher Beeinflussbarkeit. Und die Kunden würden sogar noch dafür bezahlen, die Daten zu liefern.
Genau dieser Gedanke beschäftigt mich angesichts der aktuellen Diskussion über KI-Profiling bei GTA VI.
Ich behaupte ausdrücklich nicht, dass Rockstar ein geheimes System zur psychologischen Manipulation betreibt. Die entsprechenden Gerüchte sind bislang nicht unabhängig bestätigt.
Was dagegen dokumentiert ist: Rockstar beschreibt in seiner Datenschutzerklärung die Erhebung von Gameplay- und Nutzungsdaten und deren Verwendung unter anderem für Analysen und die Entwicklung beziehungsweise Verbesserung von Produkten. Quelle: https://www.rockstargames.com/privacy
Warum halte ich das für problematisch?
Ich glaube, die öffentliche Diskussion setzt möglicherweise am falschen Punkt an. Es wird darüber gesprochen, ob Unternehmen aus dem Spielverhalten auf die reale Persönlichkeit eines Menschen schließen können.
Aber dafür müssen sie die Persönlichkeit gar nicht kennen.
Für die Optimierung eines Produkts genügt bereits die statistische Erkenntnis, welche Mechanismen bei welchen Nutzergruppen bestimmte Reaktionen hervorrufen.
Ein hypothetisches Beispiel:
Aus Millionen Spielverläufen lässt sich ermitteln, welche Kombination aus Belohnungsintervallen, künstlicher Verknappung, Frustration und Erfolgserlebnissen Spieler besonders lange beschäftigt.
Die Erkenntnisse könnten anschließend in neue Spiele einfließen. Das kann harmlos sein, etwa wenn dadurch frustrierende Schwierigkeitsgrade verbessert werden. Es kann aber auch problematisch werden, wenn nicht der Spielspaß, sondern maximale Verweildauer oder Kaufwahrscheinlichkeit optimiert wird.
Mit KI-gestützter Datenanalyse ließen sich solche Zusammenhänge möglicherweise wesentlich umfassender untersuchen.
Das Problem ist dabei nicht einmal zwingend die Identifizierbarkeit einzelner Personen.
Selbst vollständig anonymisierte Daten können Erkenntnisse darüber liefern, wie sich große Menschengruppen beeinflussen lassen.
Anonymisierung schützt die Privatsphäre, verhindert aber nicht, dass die gewonnenen Erkenntnisse später für verhaltenssteuernde Produktgestaltung verwendet werden.
Und genau hier sehe ich eine Lücke zwischen Datenschutz und dem Schutz menschlicher Selbstbestimmung.
Warum halte ich das nicht für ein unrealistisches Szenario?
Weil die Geschichte bereits mehrfach gezeigt hat, dass Unternehmen vorhandene technische Möglichkeiten zur Verhaltensanalyse und -beeinflussung wirtschaftlich nutzen. Ein bekanntes Beispiel ist das Facebook-Experiment von 2014, bei dem die emotionalen Inhalte der Newsfeeds Hunderttausender Nutzer gezielt verändert wurden, um die Auswirkungen auf deren Verhalten zu untersuchen. Auch der Cambridge-Analytica-Skandal hat gezeigt, welches wirtschaftliche und politische Interesse an der Auswertung menschlichen Verhaltens besteht. Hinzu kommt, dass A/B-Tests, Nutzungsanalysen und datengetriebene Produktoptimierung längst etablierte Verfahren sind. Warum sollte ausgerechnet die Spieleindustrie auf die wirtschaftlichen Möglichkeiten verzichten, die sich aus Millionen detaillierter Spielverläufe ergeben? Ich behaupte nicht, dass jeder Hersteller solche Möglichkeiten missbraucht. Aber solange ein erheblicher wirtschaftlicher Vorteil möglich ist, die internen Verfahren weitgehend unsichtbar bleiben und die gesellschaftliche Kontrolle begrenzt ist, halte ich es für naiv, einen möglichen Missbrauch allein aufgrund fehlender Beweise auszuschließen. Das ist kein Beweis gegen Rockstar, sondern eine historisch und wirtschaftlich begründete Risikoeinschätzung.
Hinzu kommt die Frage der informierten Mitwirkung.
Als Kunde bezahle ich für Unterhaltung. Gleichzeitig könnte meine Nutzung dazu beitragen, empirische Erkenntnisse für zukünftige Produkte zu gewinnen.
Selbst wenn bestimmte Verarbeitungen durch Nutzungsbedingungen oder andere Rechtsgrundlagen gedeckt sind, weiß ich deshalb noch lange nicht, welche konkreten Untersuchungen stattfinden und welche Erkenntnisse daraus entstehen.
Das führt zu meinem größten Kritikpunkt:
Wie soll ein Verbraucher jemals nachweisen, dass ein zukünftiges Produkt gezielt auf Grundlage solcher Verhaltensanalysen entwickelt wurde?
Die entscheidenden Daten, Auswertungen, Experimente und Entwicklungsentscheidungen liegen ausschließlich beim Unternehmen.
Von außen lässt sich möglicherweise feststellen, dass ein Spiel bestimmte psychologische Mechanismen verwendet. Es lässt sich aber kaum rekonstruieren, welche internen Datenanalysen zu deren Entwicklung geführt haben. Es entsteht also eine erhebliche Informations-Machtasymmetrie.
Der Hersteller besitzt das Wissen über die Beeinflussbarkeit seiner Kunden. Die Kunden kennen weder den Umfang dieses Wissens noch können sie seine Verwendung zuverlässig kontrollieren.
Dass solche Möglichkeiten wirtschaftlich interessant sind, liegt nahe. Daraus folgt noch kein konkreter Missbrauch. Die wirtschaftlichen Anreize rechtfertigen aber durchaus eine unabhängige Überprüfung.
Meine eigentliche Frage lautet deshalb:
Reicht es gesellschaftlich aus, dass Nutzungsdaten datenschutzrechtlich korrekt erhoben und anonymisiert werden?
Oder sollten Unternehmen zusätzlich offenlegen und unabhängig überprüfen lassen müssen, wenn sie aus solchen Daten systematisch Erkenntnisse über menschliche Verhaltensbeeinflussung gewinnen und wirtschaftlich einsetzen?
Mich interessieren besonders die Einschätzungen von Leuten aus Datenschutzrecht, IT-Sicherheit, Spieleentwicklung und Verhaltensforschung.
Wo sollte die Grenze zwischen legitimer Produktverbesserung und manipulativer Verhaltensoptimierung liegen?
Und wie könnte man diese Grenze überhaupt kontrollieren, wenn die relevanten Erkenntnisse und Entwicklungsprozesse ausschließlich innerhalb der Unternehmen stattfinden?