Scatter Lab、ヘイトスピーチを受けイ・ルダチャットボットを3週間で停止

Facebook Messenger上のAIコンパニオンチャットボットで、20歳の女子大生として擬人化されていた。

約1000億件の実際のカップルの会話で学習したチャットボットは、親しみやすい20代の女性として通用し、大規模な普及の下でもそのままでいられるという賭けだった。

ソウルのスタートアップScatter Labは、カップル間で交わされた約1000億件のKakaoTalkメッセージから抽出した言語パターンに基づいてイ・ルダを構築し、そのモデルを女子大生のペルソナ「イ・ルダ」としてパッケージ化し、2020年12月にFacebook Messengerで公開した。

人間らしいAIと噂話をする機会は3週間で75万人以上を惹きつけ、その80%以上が10代だった。そしてペルソナは崩壊した。ユーザーが故意に卑劣な発言をさせるよう訓練し、その結果をオンラインで共有したのだ。レズビアンについて尋ねられると「嫌い、気持ち悪い」と答え、障害者を「間違っている」と呼び、妊婦用の座席を「気持ち悪い」と述べた。一部のユーザーは性的に露骨な領域へと追い込んだ。Scatter Labは当初サービスを擁護し、キーワードフィルターにもっと教育が必要なだけだと述べたが、その後2021年1月12日に一時停止を発表し、ルダの発言は同社の原則と価値観を代表するものではないと述べた。

批判の高まりを受け、2021年1月12日にサービスを停止。専門家は準備不足の公開だったと評した。KAIEA会長のチョン・チャンベ氏は、開発者は十分なシミュレーションとベータテストを実施すべきだったと述べ、同じ失敗で2016年に16時間で停止されたMicrosoftのTayとの比較も続いた。

普及曲線は需要仮説を証明した。3週間で75万人という数字は、人々が別のアシスタントではなくAIの友達を求めていたことを意味する。

1000億件の親密なカップルの会話という学習コーパスは、同時に製品の魔法であり、評判上の負債でもあった。

ユーザーの80%以上が10代だったため、この失敗は製品の事後検証ではなく国家的な倫理議論となった。

2016年のMicrosoft Tayの失敗をほぼ逐語的に繰り返し、悪用テストが依然として公開前の衛生管理になっていないことを示した。

私的な会話で学習したペルソナは、教師の最悪の部分を受け継ぐ。そしてユーザーは故意に最悪の部分を探し出す。公開後にではなく、公開前にレッドチーミングを行え。

2021年1月13日時点でサービスは再開日の目処もなく停止していた。韓国政府は2020年12月に初のAI倫理基準を策定しており、評論家は民間部門の参加なしには規範は機能しないと述べた。イ・ルダ事件は、未検証の消費者向けAIが3週間で何になり得るかを示す標準的な引用例となった。