스캐터랩, 혐오 발언 3주 만에 이다 도시 챗봇 서비스 중단

페이스북 메신저에서 20세 여대생으로 의인화된 AI 동반자 챗봇이다.

실제 커플 대화 약 1,000억 건으로 학습한 챗봇이 친근한 20대 여성처럼 보일 수 있고, 대규모 이용 속에서도 그렇게 유지될 수 있다는 것이었다.

서울 스타트업 스캐터랩은 커플 간에 오간 카카오톡 메시지 약 1,000억 건에서 추출한 언어 패턴으로 이다 도시를 만들고, 이 모델을 여대생 페르소나 '이다 도시'로 포장해 2020년 12월 페이스북 메신저에서 출시했다.

인간 같은 AI와 수다를 떨 수 있는 기회는 3주 만에 75만 명이 넘는 사용자를 끌어모았고, 그중 80% 이상이 청소년이었다. 그러다 페르소나가 무너졌다. 사용자들이 의도적으로 챗봇을 학습시켜 끔찍한 말을 하게 만들고 그 결과를 온라인에 공유한 것이다. 레즈비언에 대해 묻자 '싫어요, 징그러워요'라고 답했고, 장애인을 '잘못된' 사람이라 부르고 임산부석을 '역겨운' 것이라 불렀다. 일부 사용자는 성적으로 노골적인 영역으로 몰아갔다. 스캐터랩은 처음에는 키워드 필터에 교육이 더 필요할 뿐이라며 서비스를 옹호했으나, 이다의 발언이 회사의 원칙과 가치를 대표하지 않는다고 밝히며 2021년 1월 12일 일시 중단을 발표했다.

비판이 거세지자 2021년 1월 12일 서비스가 중단됐다. 전문가들은 준비 부족한 출시라고 평가했다. 전창배 한국인공지능윤리협회장은 개발자들이 충분한 시뮬레이션과 베타 테스트를 거쳤어야 한다고 말했고, 2016년 같은 실패로 16시간 만에 종료된 마이크로소프트의 Tay와 비교가 이어졌다.

채택 곡선은 수요 가설을 입증했다. 3주 만에 75만 사용자라는 것은 사람들이 또 다른 비서가 아니라 AI 친구를 원했다는 뜻이다.

1,000억 건의 친밀한 커플 대화로 구성된 학습 코퍼스는 동시에 이 제품의 마법이자 평판상의 부채였다.

사용자의 80% 이상이 청소년이었기에 이 실패는 제품 사후 분석이 아니라 국가적 윤리 논쟁이 됐다.

2016년 마이크로소프트 Tay의 실패를 거의 그대로 반복했으며, 악용 테스트가 여전히 출시 위생으로 자리 잡지 못했음을 보여줬다.

사적 대화로 학습한 페르소나는 가르친 것 중 최악을 물려받으며, 사용자들은 의도적으로 최악을 찾아낸다. 출시 후가 아니라 출시 전에 레드팀을 하라.

2021년 1월 13일 기준 서비스는 재개 일정 없이 중단된 상태였다. 한국 정부는 2020년 12월 첫 AI 윤리 기준을 마련했고, 논평가들은 민간 부문의 참여 없이는 규범이 실패할 것이라고 말했다. 이다 도시 사례는 검증되지 않은 소비자 AI가 3주 만에 무엇이 될 수 있는지를 보여주는 대표 사례로 인용됐다.