Scatter Lab 因仇恨言论在三周后暂停了其李鲁达聊天机器人

一款运行在Facebook Messenger上的AI伴侣聊天机器人，被拟人化为一名20岁的女大学生。

一个用约1000亿条真实情侣聊天记录训练而成的聊天机器人，可以冒充一位友好的20多岁女性——并且在被大规模采用的情况下依然保持这一形象。

首尔初创公司Scatter Lab利用从情侣之间约1000亿条KakaoTalk消息中挖掘出的语言模式构建了李鲁达，将该模型包装成“李鲁达”这一女大学生人设，并于2020年12月在Facebook Messenger上线。

与类人AI闲聊八卦的机会在三周内吸引了超过75万名用户，其中超过80%是青少年。随后这个人设崩了：用户故意训练它说出恶毒的话，并把结果分享到网上。当被问及女同性恋者时，它回答“我讨厌她们，她们很恶心”；它称残疾人是“错的”，称孕妇专座“令人作呕”。一些用户还把它引向性露骨的内容。Scatter Lab起初为这项服务辩护——称关键词过滤只是需要更多教育——随后于2021年1月12日宣布暂时停运，并表示鲁达的言论不代表公司的原则和价值观。

在批评声日益高涨后，服务于2021年1月12日暂停。专家称这是一次准备不足的上线——韩国人工智能伦理协会主席全昌培表示，开发者本应进行充分的模拟和beta测试——随后人们将其与微软的Tay相提并论，后者因同样的失败于2016年在16小时内被关闭。

采用曲线证明了需求假设：三周达到75万用户，意味着人们想要的是一个AI朋友，而不是又一个助手。

1000亿条亲密情侣聊天的训练语料既是产品的魔力所在，也是其声誉负担。

由于超过80%的用户是青少年，这次失败变成了一场全国性的伦理辩论，而非一次产品复盘。

它几乎逐条重演了微软Tay在2016年的失败，表明滥用测试仍未成为上线前的卫生习惯。

用私人聊天训练出来的人设会继承其“老师”最糟糕的一面——而用户会故意去挖出最糟糕的部分：要在上线前进行红队测试，而不是上线后。

截至2021年1月13日，该服务处于暂停状态，没有重启日期。韩国政府已于2020年12月制定其首套AI伦理标准，评论人士表示，没有私营部门的参与，规范将会失效；李鲁达事件成为说明未经测试的消费级AI在三周内会变成什么样子的标准案例。