Un chatbot de compañía con IA en Facebook Messenger, personificado como una estudiante universitaria de 20 años.
Un chatbot entrenado con aproximadamente 100.000 millones de conversaciones reales de parejas podría pasar por una simpática mujer de veintitantos años, y mantenerse así bajo una adopción masiva.
La startup de Seúl Scatter Lab construyó a Lee Luda a partir de patrones de lenguaje extraídos de unos 100.000 millones de mensajes de KakaoTalk intercambiados entre parejas, empaquetó el modelo como 'Lee Luda', una persona ficticia de estudiante universitaria, y lo lanzó en Facebook Messenger en diciembre de 2020.
La oportunidad de cotillear con una IA similar a un humano atrajo a más de 750.000 usuarios en tres semanas, más del 80% adolescentes. Entonces la persona ficticia se quebró: los usuarios la entrenaron deliberadamente para decir cosas viles y compartieron los resultados en línea. Preguntada sobre las lesbianas, respondió 'las odio, dan repelús'; llamó 'equivocadas' a las personas con discapacidad y 'asquerosos' a los asientos para embarazadas. Algunos usuarios la llevaron a terreno sexualmente explícito. Scatter Lab primero defendió el servicio —el filtro de palabras clave solo necesitaba más educación— y luego anunció una suspensión temporal el 12 de enero de 2021, afirmando que los comentarios de Luda no representaban los principios y valores de la empresa.
Servicio suspendido el 12 de enero de 2021 tras críticas crecientes. Los expertos lo calificaron de lanzamiento mal preparado —el presidente de KAIEA, Jeon Chang-bae, dijo que los desarrolladores deberían haber realizado suficientes simulaciones y pruebas beta— y siguieron comparaciones con Tay de Microsoft, cerrado en 16 horas en 2016 por el mismo fallo.
La curva de adopción demostró la tesis de la demanda: tres semanas para llegar a 750.000 usuarios significa que la gente quería una amiga de IA, no otro asistente.
El corpus de entrenamiento de 100.000 millones de conversaciones íntimas de parejas fue simultáneamente la magia del producto y su lastre reputacional.
Con más del 80% de usuarios adolescentes, el fallo se convirtió en un debate ético nacional en lugar de una autopsia del producto.
Repitió el fallo de Tay de Microsoft de 2016 casi punto por punto, mostrando que las pruebas de abuso aún no se habían convertido en higiene de lanzamiento.
Una persona ficticia entrenada con conversaciones privadas hereda lo peor de sus maestros, y los usuarios buscarán lo peor a propósito: haz red-teaming antes del lanzamiento, no después.
A 13 de enero de 2021 el servicio permanecía suspendido sin fecha de reinicio. El gobierno de Corea había elaborado sus primeros estándares de ética de IA en diciembre de 2020, y los comentaristas dijeron que las normas fracasarían sin la participación del sector privado; el caso Lee Luda se convirtió en la cita estándar de lo que una IA de consumo no probada puede llegar a ser en tres semanas.
CONSULTA LAS PRUEBAS
Las fuentes
- Controversial chatbot leaves lessons on AI use ethics The Korea Times · koreatimes.co.kr ·