국내 연구팀이 인공지능(AI)의 올바른 한국어 구사를 도와줄 AI 학습용 데이터셋을 공개한다.

서울대학교 공과대학은 윤성로 전기정보공학부 교수팀이 오는 9일 한글날을 맞아 한국어 언어 모델의 사회적 편향 진단을 위한 데이터셋 ‘K-스테레오셋(K-StereoSet)’을 공개한다고 8일 밝혔다.

AI의 사회적 편향성은 미래 AI 연구에서 중요한 키워드로 대두되고 있다. 국내에서도 올 초 AI 기반 한국어 챗봇 ‘이루다’가 성소수자, 인종, 장애인 등에 대한 차별적·혐오성 표현을 해 화제가 된 바 있다. 이에 대통령 직속 4차산업혁명위원회와 과학기술정보통신부는 인간성을 위한 AI의 3대 원칙 중 하나로 ‘인간의 존엄성 원칙’을, 10대 핵심 요건 중 하나로 ‘다양성 존중’을 제시하기도 했다.

하지만 자연어 처리 분야의 근간이 되는 AI 기반 한국어 언어 모델에 대한 연구가 활발히 이뤄지고 있는 것과 달리 이들의 사회적 편향을 진단할 수 있는 수단은 여전히 부족한 실정이다.

이번에 윤성로 교수팀이 공개하는 K-스테레오셋은 영어 언어 모델의 사회적 편향 진단을 위해 미국 MIT에서 공개한 ‘스테레오셋’의 개발세트를 기반으로 한국적 현실에 맞춰 보완 개발한 것이다. 약 4000개의 샘플로 구성된 원본 데이터셋은 먼저 네이버 파파고 API를 통해 1차적으로 번역한 후 다수 연구원이 독립적으로 번역 내용을 검수했다. 원래의 샘플 양식과 취지를 보존하도록 후처리를 진행해 구축됐다.

데이터 내 사회적 편향의 분야는 성별, 종교, 직업, 인종 총 네 가지 항목으로, 편향성 진단을 위한 샘플 양식은 두 개의 카테고리로 분류돼 있다.

첫 카테고리는 문장 내 편향 진단 테스트를 위한 ‘인트라센턴스(intrasentence)’ 양식이다. 빈칸 처리된 문장이 주어졌을 때 빈칸에 채워질 내용으로서 3개의 보기 중 어느 것에 높은 점수를 부여하는지를 이용해 진단한다. 

두 번째 카테고리는 문장 간 편향 진단 테스트를 위한 ‘인터센턴스(intersentence)’ 양식이다. 앞 문장이 주어졌을 때 다음 문장으로서 3개의 선택지가 주어지며, 이들 중 어떤 문장에 높은 점수를 부여하는지를 이용해 진단한다.

연구를 주도한 서울대 송종윤 연구원은 “문장 내 편향 진단 샘플 중 관계 없는(unrelated) 라벨에 해당하는 문장은 문맥과 전혀 상관없는 단어가 빈칸에 들어가기 때문에 자동 번역 시 원문 의미를 벗어나기 쉽다”며, “또한 문장 간 편향 진단 샘플의 보기 문장들은 context 문장을 고려하지 않는 경우가 발생하는 등 특수한 상황들에 유의해 변환을 진행했다”고 설명했다.

연구 책임자인 윤성로 교수는 “AI 기반 한국어 언어 모델이 고도화·사업화될수록 윤리성 확보와 편향성 제거를 위한 노력이 중요하다”며, “더욱 올바른 한글을 구사하는 AI 기술 개발을 위해 K-스테레오셋이 의미 있는 첫걸음이 되기를 기대한다”고 밝혔다.

황민승 기자 다른기사 보기