業務內容
一款在 Facebook Messenger 上運作的 AI 陪伴聊天機器人,被設定為一名 20 歲女大學生的角色。
押注
一款以約 1,000 億則真實情侶對話訓練的聊天機器人,能夠冒充成一名友善的 20 多歲女性,並在大規模採用下維持這個形象。
起步經過
首爾新創公司 Scatter Lab 以約 1,000 億則情侶之間交換的 KakaoTalk 訊息所挖掘出的語言模式,打造出「李露達」,將該模型包裝成女大學生角色「李露達」,並於 2020 年 12 月在 Facebook Messenger 上推出。
事件經過
能與擬人化的 AI 閒聊八卦,這個機會在三週內吸引了超過 75 萬名用戶,其中逾 80% 是青少年。隨後這個角色設定崩壞:用戶刻意訓練它說出惡毒的話,並在網路上分享結果。被問到女同性戀時,它回答「我討厭她們,她們很噁心」;它稱身心障礙者「有問題」,並說孕婦專座「很噁心」。部分用戶還把它引向性露骨的內容。Scatter Lab 起初為這項服務辯護,稱關鍵字過濾器只是需要再加強教育,隨後於 2021 年 1 月 12 日宣布暫時停止服務,並表示露達的言論不代表公司的原則與價值觀。
最終結果
在批評聲浪高漲後,服務於 2021 年 1 月 12 日暫停。專家稱這是一次準備不足的推出——韓國人工智慧倫理協會(KAIEA)主席全昌培表示,開發者本應進行充分的模擬與 Beta 測試——外界也將其與微軟的 Tay 相提並論;Tay 於 2016 年因同樣的失誤在 16 小時內被關閉。
必須成立的前提
採用曲線證實了需求假設:三週內達到 75 萬名用戶,意味著人們想要的是 AI 朋友,而不是另一個助理。
以 1,000 億則親密情侶對話構成的訓練語料,同時是這項產品的魔力所在,也是其聲譽負債。
由於逾 80% 的用戶是青少年,這起失敗演變成一場全國性的倫理辯論,而非產品事後檢討。
它幾乎逐字重演了微軟 Tay 在 2016 年的失敗,顯示濫用測試仍未成為上線前的標準作業。
可套用的啟示
以私人對話訓練的角色設定,會承襲其「老師」最糟糕的一面——而用戶會刻意找出最糟的部分:應在上線前進行紅隊測試,而非上線後。
後續發展
截至 2021 年 1 月 13 日,該服務處於暫停狀態,且沒有重啟日期。韓國政府已於 2020 年 12 月制定其首套 AI 倫理標準,評論者表示,若缺乏民營部門參與,這些規範將會失效;李露達事件成為說明未經測試的消費級 AI 能在三週內變成什麼樣貌的標準案例。
追溯依據
參考來源
- Controversial chatbot leaves lessons on AI use ethics The Korea Times · koreatimes.co.kr ·