[칼럼] 신뢰할 수 있는 AI, 시스템 개별 특성을 반영한 윤리적 설계로 구현 가능
상태바
[칼럼] 신뢰할 수 있는 AI, 시스템 개별 특성을 반영한 윤리적 설계로 구현 가능
  • 석주원 기자
  • 승인 2021.12.01 16:57
  • 댓글 0
이 기사를 공유합니다

[글=방준성]
한국전자통신연구원(ETRI) 선임연구원, 과학기술연합대학원대학교(UST) 부교수

hjbang21pp@etri.re.kr

*본 칼럼은 저자의 KISDI 심포지엄 토론 내용의 일부를 재구성해 작성되었습니다

 

인공지능(AI) 기술은 사회 전반에 확산되며 다양한 서비스 분야의 혁신을 선도하고 있다. AI 기반의 어떤 것을 신뢰하고 있는가? 사람과 AI 중에서 무엇을 더 신뢰하는가? 아마도 사람과 AI가 하는 의사 결정과 행위에 대한 ‘예측 가능성’과 결과에 대한 ‘책임 보장성’이 판단 기준의 한 부분을 차지할 것으로 보인다.

인간은 다양한 방식으로 생각하고 표현하지만, 사회 구성원으로서 정해진 규칙을 따르기도 하기 때문에 어느 정도 예측 가능한 행동을 한다. 사람이 설계한 알고리즘에 의해 동작되는 AI도 설정된 환경과 조건 하에서는 예측이 가능하다. 그러나 사람이 선례가 없는 상황에 대해 적절한 판단을 하고 책임을 지는 반면, AI는 이전의 사례들을 바탕으로 최적의 선택지를 고를 뿐이다.

설명 가능한 AI(eXplainable AI: XAI)는 알고리즘 혹은 모델의 실행 결과에 대한 원인과 그 작동 원리를 사람들이 이해할 수 있도록 하는 프로세스와 방법론에 기반한다. AI 기술이 고도로 발전하면서 복잡한 AI 알고리즘의 결과 도출 과정을 해석하는데 어려움이 있었다.

설명 가능한 AI를 사용하면 AI 모델의 실행에 의해 예상되는 파급 효과나 잠재적 편향 등에 대해 기술하는 것이 가능하다. 이는 AI 기반 시스템의 투명성(Transparency), 예측 가능성(Predictability), 공정성(Fairness) 등을 확보하여 AI 기술 활용에 대한 신뢰도를 높이는데 도움이 된다.

그러나 설명 가능한 AI로 지능형 시스템이 구현됐다고 하더라도 그 시스템을 전적으로 신뢰하는 것은 위험할 수 있다. 때문에 AI 기술이 활용된 개별 시스템에 대한 기술영향평가를 시행해 시스템을 지속적으로 개선할 필요가 있다.

AI의 기술적 특성과 파급력 때문에 기술영향평가에서는 기술의 기능에 의한 직접적인 영향뿐만 아니라, 기술의 사용 대상인 인간과 사회에 대한 잠재적인 영향들(인간 심리의 변화, 사회 문화의 변화 등)도 함께 다뤄져야 할 것이다.

기술영향평가의 결과는 AI 시스템 개선 과정에서 AI 윤리 원칙이나 시스템 활용 범위 등을 설정하는데 사용될 수 있다. 또한 AI 시스템 활용에 대한 책임 주체, 범위, 피해 보상 방법 등도 함께 논의되어야 할 것이다. AI 시스템의 적절하지 못한 의사 결정은 불평등을 가중시킬 수 있기 때문에 AI 기술 활용에 따른 잠재적인 불평등 사례들을 찾고 이를 시스템상에서 개선하려는 노력도 필요하다.

AI에 대한 기술영향평가는 AI 시스템 자체가 데이터에 의해 영향을 많이 받는 만큼 데이터의 유형, 측정 방식과 같은 기본적인 사항뿐만 아니라 데이터가 사회를 반영하는지, 어떤 식으로 배포되는지 등도 고려하여 평가될 수 있도록 해야 한다.

필요시 데이터 자체에 대한 인증도 이뤄질 수 있도록 그 체계를 지원해야 할 것이다. 이 과정에서 데이터의 편향 정도나 이를 완화하는 방법, 목표한 정확도나 정밀도에 대한 안정적 달성 방법 등을 설명 가능한 AI를 통해 함께 고민해 볼 수 있다. 데이터는 현재의 사회·문화를 반영하며 생성되기 때문에 이 과정은 지속적인 피드백을 통해 진행되어야 한다.

설명 가능한 AI의 방법론을 도입하고 기술영향평가를 시행한다면 어떤 서비스 분야부터 하는 것이 좋을까? 이를 위해서는 AI 기술 적용 분야별로 ‘잘못된 의사 결정에 의한 잠재적 피해 비용’을 고려할 수 있다.

일상생활에서 영화나 음악 추천, 광고 배치, 기계 번역 등에서 AI의 오류로 인한 잠재적 피해 비용은 낮지만, 인명이나 재산 등 사회적 피해가 발생할 수 있는 자율주행, 공장 시스템 자동화, 공공·군사 시설 제어 등에서의 오류는 치명적이다.

가까운 시기에 널리 활용될 분야에 대해 설명 가능한 AI 방법론을 적용하여 해석을 시도하고 기술영향평가를 추진하는 것도 필요하겠지만, 국방, 의료 등과 같은 분야에 대해서는 시간을 들여 다양한 환경과 조건에서 시뮬레이션하여 검증하고 동시에 인간이 추구하는 가치가 반영되어 있는지도 확인해봐야 한다.

코로나19 상황으로 인해 사람들이 디지털 공간에서 활동하는 시간이 늘어났다. AI 기술은 현실 세계의 지능화된 디지털 인프라와 서비스의 구현뿐만 아니라 메타버스와 같은 가상 세계에서 디지털 공간을 형성하고 사람들과 상호 작용하기 위한 기반 기술로도 활용될 수 있다.

현실 세계에서 AI 기술이 활용되는 방식이나 그 영향성은 가상 세계에서의 그것들과 다를 수 있기 때문에 다른 관점에서 살펴볼 필요가 있다. 특히, 소셜 특성이 강한 가상의 공간에서 AI 아바타(AI avatar)와의 상호 작용에 의한 개인의 잘못된 의사 결정, 디지털 공간에서의 편향된 집단 문화 등에 의한 현실 세계에서의 부정적 영향이 있을 수도 있다.

신뢰 가능한 AI(Trusted AI, 또는 Trustworthy AI)를 위해서는 AI 시스템의 개별 특성이 반영된 윤리적 설계 프레임워크가 필요하다. 대화형 인터페이스인 챗봇을 예로 들어 살펴보자. AI 윤리 가이드라인에 따라 챗봇 시스템의 투명성은 어떻게 보여줄 수 있을지, 챗봇 엔진 동작에 대한 설명 가능성은 어떻게 표현할 수 있을지 등에 대한 구체적인 논의가 필요하다.

AI 챗봇 시스템은 데이터에 기반하여 사용자 질의에 대한 정보를 제공하기 때문에 데이터 편향에 영향을 받는다. 챗봇은 실시간으로 사람과 대화하며 서비스 목적에 따른 정보 처리를 하기도 하는데, 이 경우 사용자가 챗봇이 전달한 정보를 기반으로 서비스에 대한 의사 결정을 하기 때문에 정보 생성 주체나 시기 등에 따른 신뢰성도 문제가 될 수 있다.

2021년 한국의 ‘이루다’ 이슈에서도 보듯이, 비윤리적 대화 데이터로 학습된 AI 챗봇은 사람들과 부적절한 방식으로 대화를 진행할 수 있다. 반대 상황으로, 사람들과 대화를 통해 상호 작용하는 AI 챗봇은 그 대화 방식에 따라 사람들의 의사 결정이나 심리 형성에 영향을 줄 수 있음도 짐작해 볼 수 있다.

AI 기술 활용에 대한 사회의 신뢰도를 높이기 위해서는 AI 시스템의 개별 특성이 반영된 윤리적 설계 및 설명 가능한 AI의 구현, 기술영향평가를 통한 지속적인 시스템 개선 등의 노력이 필요하다.

또한, AI 기술이 적용될 수 있는 현실 세계의 디지털 인프라와 서비스뿐만 아니라 가상 세계의 디지털 공간도 그 범위에 포함하여 지능형 시스템의 윤리적 설계에 대한 고민이 있어야 한다.

방준성 ETRI 선임연구원
방준성 ETRI 선임연구원

아울러, AI 기술의 사회·문화적 영향에 대한 고찰을 통한 법제도와 가이드라인 정의를 비롯해 시스템의 개별 특성이 반영된 윤리적 설계와 구체적인 개발 프레임워크도 제시되어야 할 것이다.

AI 기술 활용에 있어서의 잠재적 피해 비용을 최소화하며 시민 편익을 최대화하기 위해서는 법학자, 사회학자, 심리학자, 공학자(AI 시스템 설계 및 개발) 등 다양한 분야의 전문가들이 참여하여 신뢰 가능한 AI를 구현하기 위한 다양한 방안들에 대해 논의할 필요가 있다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.