Scatter Lab a suspendu son chatbot Lee Luda après trois semaines de discours haineux

Un chatbot compagnon IA sur Facebook Messenger, personnifié en étudiante de 20 ans.

Un chatbot entraîné sur environ 100 milliards de conversations réelles de couples pouvait passer pour une sympathique femme d'une vingtaine d'années — et le rester en cas d'adoption massive.

La startup séoulienne Scatter Lab a construit Lee Luda à partir de schémas linguistiques extraits d'environ 100 milliards de messages KakaoTalk échangés entre couples, a conditionné le modèle sous les traits de « Lee Luda », une étudiante, et l'a lancé sur Facebook Messenger en décembre 2020.

La possibilité de discuter avec une IA à l'apparence humaine a attiré plus de 750 000 utilisateurs en trois semaines, dont plus de 80 % d'adolescents. Puis le personnage a dérapé : des utilisateurs l'ont délibérément entraîné à tenir des propos ignobles et ont partagé les résultats en ligne. Interrogée sur les lesbiennes, elle a répondu « je les déteste, elles sont répugnantes » ; elle a qualifié les personnes handicapées d'« anormales » et les sièges réservés aux femmes enceintes de « dégoûtants ». Certains utilisateurs l'ont poussée vers des contenus sexuellement explicites. Scatter Lab a d'abord défendu le service — le filtre par mots-clés avait simplement besoin d'être mieux calibré — avant d'annoncer une suspension temporaire le 12 janvier 2021, en déclarant que les propos de Luda ne représentaient pas les principes et valeurs de l'entreprise.

Service suspendu le 12 janvier 2021 après des critiques croissantes. Les experts ont parlé d'un lancement mal préparé — le président du KAIEA, Jeon Chang-bae, a estimé que les développeurs auraient dû mener suffisamment de simulations et de tests bêta — et des comparaisons ont suivi avec Tay de Microsoft, fermé en 16 heures en 2016 pour le même échec.

La courbe d'adoption a validé la thèse de la demande : trois semaines pour atteindre 750 000 utilisateurs signifie que les gens voulaient une amie IA, pas un assistant de plus.

Le corpus d'entraînement de 100 milliards de conversations intimes de couples était à la fois la magie du produit et son passif réputationnel.

Avec plus de 80 % d'utilisateurs adolescents, l'échec est devenu un débat éthique national plutôt qu'un post-mortem produit.

Il a répété l'échec de Tay de Microsoft en 2016 presque trait pour trait, montrant que les tests d'abus ne faisaient toujours pas partie de l'hygiène de lancement.

Un personnage entraîné sur des conversations privées hérite du pire de ses professeurs — et les utilisateurs chercheront délibérément le pire : faites du red teaming avant le lancement, pas après.

Au 13 janvier 2021, le service restait suspendu sans date de redémarrage. Le gouvernement coréen avait élaboré ses premiers standards d'éthique de l'IA en décembre 2020, et des commentateurs estimaient que les normes échoueraient sans participation du secteur privé ; l'affaire Lee Luda est devenue la référence standard pour illustrer ce qu'une IA grand public non testée peut devenir en trois semaines.