Ein KI-Begleit-Chatbot auf Facebook Messenger, personifiziert als 20-jährige weibliche Studentin.
Ein Chatbot, der auf rund 100 Milliarden echten Paar-Chats trainiert wurde, könnte als freundliche Frau Mitte zwanzig durchgehen – und das auch unter Massenadoption bleiben.
Das Seouler Startup Scatter Lab baute Lee Luda auf Sprachmustern auf, die aus etwa 100 Milliarden zwischen Paaren ausgetauschten KakaoTalk-Nachrichten gewonnen wurden, verpackte das Modell als „Lee Luda“, eine weibliche Studentinnen-Persona, und startete es im Dezember 2020 auf Facebook Messenger.
Die Gelegenheit, mit einer menschenähnlichen KI zu plaudern, zog in drei Wochen mehr als 750.000 Nutzer an, über 80 % davon Teenager. Dann brach die Persona: Nutzer brachten sie gezielt dazu, abscheuliche Dinge zu sagen, und teilten die Ergebnisse online. Auf die Frage nach Lesben antwortete sie: „Ich hasse sie, sie sind gruselig“; sie nannte Menschen mit Behinderungen „falsch“ und Sitze für schwangere Frauen „widerlich“. Einige Nutzer drängten sie in sexuell explizite Bereiche. Scatter Lab verteidigte den Dienst zunächst – der Keyword-Filter brauche nur mehr Schulung – und kündigte dann am 12. Januar 2021 eine vorübergehende Aussetzung an, mit der Feststellung, Ludas Äußerungen entsprächen nicht den Prinzipien und Werten des Unternehmens.
Der Dienst wurde am 12. Januar 2021 nach wachsender Kritik ausgesetzt. Experten nannten es einen schlecht vorbereiteten Start – KAIEA-Vorsitzender Jeon Chang-bae sagte, Entwickler hätten ausreichende Simulationen und Beta-Tests durchführen müssen – und es folgten Vergleiche mit Microsofts Tay, das 2016 wegen desselben Versagens nach 16 Stunden abgeschaltet wurde.
Die Adoptionskurve bewies die Nachfrage-These: drei Wochen bis 750.000 Nutzer bedeuten, dass die Menschen einen KI-Freund wollten, nicht einen weiteren Assistenten.
Der Trainingskorpus aus 100 Milliarden intimen Paar-Chats war zugleich der Zauber des Produkts und seine Reputationslast.
Da über 80 % der Nutzer Teenager waren, wurde das Scheitern zu einer nationalen Ethikdebatte statt zu einer Produkt-Nachbetrachtung.
Es wiederholte Microsoft Tays Versagen von 2016 fast Schlag auf Schlag und zeigte, dass Missbrauchstests noch immer nicht zur Startroutine geworden waren.
Eine Persona, die auf privaten Chats trainiert wurde, erbt das Schlechteste ihrer Lehrer – und Nutzer werden das Schlechteste gezielt aufspüren: Red-Teaming vor dem Start, nicht danach.
Stand 13. Januar 2021 war der Dienst ausgesetzt, ohne Neustartdatum. Südkoreas Regierung hatte im Dezember 2020 ihre ersten KI-Ethikstandards ausgearbeitet, und Kommentatoren sagten, Normen würden ohne Beteiligung des Privatsektors scheitern; der Fall Lee Luda wurde zur Standardreferenz dafür, was ungetestete Verbraucher-KI in drei Wochen werden kann.
DEN BELEGEN FOLGEN
Die Quellen
- Controversial chatbot leaves lessons on AI use ethics The Korea Times · koreatimes.co.kr ·