[기고] 치안 서비스에 지능, 그리고 윤리를 심다

[글=방준성, 신지호]

방준성 | 한국전자통신연구원(ETRI) 지능화융합연구소 공공안전지능화연구실 선임연구원
           과학기술연합대학원대학교(UST) 컴퓨터소프트웨어학과 부교수

신지호 | 경찰대학 치안정책연구소 과학기술연구부 연구관

인공지능(AI)은 기술적 발전과 서비스 실현을 중심으로 광범위한 논의가 이루어지고 있다. 이제는 AI 시스템 개발에 윤리적 고려가 필요한 단계다. AI 시스템의 도입 및 활용에 있어서 사회적 우려를 최소화하기 위해 데이터, 모델, 서비스 정책뿐만 아니라 AI 시스템 출력 결과의 사용, 사회적 영향 등에 이르기까지 다양한 시각에서 윤리적 질문을 던질 필요가 있다.

치안 분야에서도 과거의 범죄 데이터 등을 기반으로 범죄 발생 가능성이 높은 지리적 영역이나 개인을 식별하기 위한 AI 기반 예측적 치안 시스템을 도입하고 있다. 그러나 윤리적 판단에 기반한 원칙 없이 특정 대상을 감시 및 통제하는 치안 강화 방식은 사생활 침해, 판단 결과의 공정성 등에서 이슈가 발생할 수 있다. 본 고에서는 예측적 치안 시스템과 관련한 AI 윤리의 필요성에 대해 논해본다.

AI 기반 예측적 치안을 통한 경찰 활동 확대

사회의 지속적인 발전이라는 목표를 두고 사회 안전과 치안 유지를 위해 각 국가의 정부는 경찰력을 강화하고 있다. 현대 사회에서 경찰이 담당해야 하는 사건 및 민원 유형이 다양화되고 수가 증가하면서 한국에서도 경찰 인력 충원의 필요성이 지속적으로 대두되고 있다.

경찰관 수를 늘리는 것도 필요하지만 경찰력을 효과적으로 활용하기 위해 첨단 치안 기술의 도입은 필수적이다. 과거의 데이터를 기반으로 미래의 추세나 이벤트를 예측하여 경찰 활동의 목표에 맞게 자원을 잘 할당할 수 있다면, 여러 측면에서 치안 서비스가 개선될 수 있기 때문에 AI 기술 도입이 필요하다.

예측적 치안(Predictive Policing)은 데이터 기반 예측 정보를 활용해 경찰력이 법 집행 활동을 하는 것을 의미한다. 미국, 영국 등에서는 10여 년 전부터 범죄 빅데이터 분석 결과를 순찰, 수사 등의 경찰 활동에 활용해 왔다. 최근 AI 등의 디지털 기술의 발전은 경찰 시스템 및 치안 서비스의 지능화를 이끌고 있다.

‘수동적 범죄 예측(Passive Crime Prediction)’이 비실시간 경찰 빅데이터를 통계·분석하여 범죄 패턴을 검출하고 경찰력 개입을 결정하는데 활용되었다면, AI 기술이 사용되는 ‘능동적 범죄 예측(Active Crime Prediction)’은 순찰, 수사 등의 경찰 활동 현장 가까이에서 실시간으로 데이터를 수집하고 경찰 빅데이터 및 접근 가능한 공공 데이터를 종합적으로 분석하여 범죄 및 위험 상황을 예측한 정보를 현장 경찰에게 전달함으로써 상황에 재빨리 대응하는 데에 활용된다.

AI 기술을 활용하는 치안 시스템에서는 범죄 상황에 신속하게 대응할 수 있는 가능성이 증가한다. 정보통신기술(ICT)은 그동안 치안 현장의 시스템 및 도구들을 개선해왔다. 그러나 법 집행 및 사법 절차에 데이터 기반 AI 알고리즘을 사용하는 것에는 사회적 우려가 있는 것도 사실이다.

과거의 범죄 데이터 등을 기반으로 범죄 발생 가능성이 높은 지리적 영역이나 개인을 식별하여 윤리 원칙 없이 특정 대상을 감시 및 통제하는 치안 강화 방식은 사생활 침해, 공정성 등의 이슈가 발생할 수 있다. 또한 AI 시스템의 예측 정보를 사용하는 경찰관의 심리와 차별적 판단(성별, 연령, 장애 및 기타 형태의 상황)에 따른 법 집행도 사회적 이슈가 될 수 있다.

AI 시스템의 도입 및 활용에 대한 사회적 우려를 최소화하기 위해 데이터, 모델, 서비스 정책뿐만 아니라 AI 시스템 출력의 사용, 사회적 영향 등에 이르기까지 다양한 시각에서 윤리적 질문을 던질 필요가 있다.

AI 서비스가 차별적 또는 불합리한 결과를 발생시키지 않기 위해서는 AI 시스템이 어떻게 구성되고 동작되어야 하는지가 논의되어야 한다. 데이터 기반 AI 기술이 사회적으로 유익한 서비스를 제공할 수 있지만, 그 기술적 사용에 있어서 부정적 결과를 초래하는 잠재적 위험 요인들을 간과해서는 안 된다.

AI 윤리에 대한 국제적, 국가적 논의의 시작

AI 기술이 사회의 여러 분야에 활용되며 다양한 서비스가 등장함에 따라, 최근에 IEEE, ACM 등은 AI 기술 우려를 해소하고자 AI 기반 시스템 설계 및 구현을 위한 윤리 가이드라인, 윤리 표준 등에 대한 논의(예: IEEE P7000 등)를 주도하고 있다. ‘AI 윤리(AI Ethics)’는 윤리적 문제를 인식하고 해결하기 위한 AI를 설계하는 것과 다양한 AI 응용 프로그램의 결과에 의한 자동화된 의사 결정의 가치와 영향 모두를 고려한다.

AI 시스템은 사전에 설계되지 않은 상황에 부딪히면 실패나 오류가 발생할 수 있다. 입력된 데이터의 형식, 시스템 내부에서의 데이터 처리, 과거 데이터 패턴이 잘못된 방식으로 자체 강화되는 등과 같은 다양한 문제가 있을 수 있다.

또한, 시스템 설계자, 운영자, 사용자인 인간이 인식하지 못했거나 악의적인 동기로 차별적인 방식으로 데이터를 사용했을 수도 있다. 그렇기 때문에, AI 시스템 개발은 공학적 접근을 넘어 사회적 영향과 인간과 시스템 사이의 상호작용 등을 포함하여 AI 시스템의 윤리적 설계 및 구현 방안이 논의되어야 한다.

AI 윤리 가이드라인들에서는 AI 시스템 개발을 위해 공공·민간 서비스에 대한 컨텍스트를 이해하여 더 넓은 윤리적 관점에서 투명성(Transparency), 책무성(Accountability), 공정성(Fairness) 등을 고려할 것을 권고한다. AI 시스템 개발을 위한 데이터 선정은 적절한지, AI 시스템 내부의 구성 및 동작은 설명 가능한지, AI 시스템 오작동 및 출력 사용에 따른 책임은 어떻게 되는지, AI 시스템의 동작 결과는 신뢰 가능한지 등 살펴보아야 할 것들이 많다.

AI 윤리 실천을 위한 프로세스의 완결성 및 공정성만으로는 AI 시스템의 사용이 정당하고 윤리적이며 사회적으로 바람직한 결과를 제공한다고 보장할 수 없다. 시스템을 사용하는 사람들의 관행에 어떻게 영향을 줄 수 있는지 등 사회와 AI 기술과의 상호 영향 관계(AI의 사회-기술적 내재성)까지 논의되어야 한다.

특히, 치안 분야 AI 시스템에 대한 우려는 민간 AI 서비스에 비해 상대적으로 클 수밖에 없다. 예를 들어, 범죄 처벌 형의 길이를 결정하기 위한 기초로 유죄 판결자의 재범을 예측하는 알고리즘이 사용될 경우, AI 시스템 결과에 대한 공정성뿐 아니라 형평성이나 합리성 등에 대한 이슈 제기가 있을 수 있다.

일리노이 공과대학(Illinois Institute of Technology)에서 2012년에 개발된 SSL(Strategic Subject List) 알고리즘은 체포 건수, 유죄 판결, 갱단 소속 여부, 범죄 또는 폭력의 피해자 여부 등을 고려하여 범죄 발생 가능성에 대한 분석을 하는 데 사용해 왔다.

SSL은 체포된 사람의 소셜 네트워크도 고려하였다. 초기에 구현된 시스템 운용 결과 기록에 따르면, 경찰 체포 기록에서 수집한 40만여 명의 개인 중 1400명이 폭력에 연루된 고위험 상태에 있었다. 이들 중에서 258명이 위험성 최고점을 받았지만 48%인 120여 명 정도만이 총기 범죄로 체포되었었고 명단에 있던 다수는 체포된 적이 없거나 오히려 피해자 혹은 피해자의 소셜 네트워크에 속해 있었다고 한다.

이 때 주목할 점은 SSL 알고리즘 및 사용된 데이터가 공개되지 않았기 때문에, 이 당시 경찰관들은 이에 대해 확인할 수 없었으며 의심의 여지없이 명단에 있는 모든 사람이 폭력의 가해자이며 더 많은 폭력을 저지를 가능성이 있다고 가정하거나 믿게 되었다는 것이다. 알고리즘의 영향으로 가지게 된 이들에 대한 편견으로 결국 이들을 감시, 통제할 수밖에 없었다고 한다.

SSL에 사용되는 체포 데이터는 본질적으로 특정 계층(인종, 소득 수준 등)에 편향될 수 있다는 우려가 제기되기도 했다. 이때, 저소득 폭력 위험 지역에 거주하는 사람은 통계상으로만 본다면 위험에 처해 있거나 잠재적인 용의자가 되었다.

어떤 측면에서 AI 기반 예측적 치안 시스템들은 무고한 사람들에 대한 용의자 판별로 경찰의 신뢰 구축 노력에 반하는 효과를 낼 수도 있기 때문에, AI 시스템이 자체 알고리즘 내에 편향 및 오판이 있을 수 있는지를 지속적으로 검증하고 이러한 시스템을 사용하는 사람들에 대한 인식 교육도 필요하다.

AI 기반 예측적 치안 시스템의 윤리적 설계 논의

앞서 설명했듯이 AI 기술을 활용한 예측적 치안은 논란의 여지가 있을 수밖에 없다. 그럼에도 불구하고 영화 ‘마이너리티 리포트’에서 보는 것처럼 인간은 범죄 발생 후 수사 및 대응을 효율화하는 것보다 범죄 발생 전에 미리 예방을 하고 싶어 하는 경향이 있어 치안 서비스에서 AI 기술 활용을 배제하기는 어려울 것이다.

또한, 법 집행 기관이 범죄 예방 의무를 저버리지 않고는 범죄 가능성에 대한 정보를 무시할 수 없기 때문에, AI 기반 예측적 치안 시스템을 도입하여 치안 시스템을 개선할 수 있는 가능성을 무시하기 어렵다.

AI 기술에 기반한 예측적 치안은 그것이 다루는 사안의 중대성으로 인하여 서비스 개발뿐만 아니라 시스템의 배포, 운용 과정에서의 윤리적 문제에 대한 논의도 중요하다. AI 시스템 도입·활용의 범위, AI 시스템의 윤리적 설계, 그것을 구현하기 위한 AI 윤리 프레임워크는 핵심적인 이슈다.

데이터 수집 및 데이터 표현 문제를 이해하는 것은 AI 시스템 설계의 시작이다. AI 기반 예측적 치안 시스템 개발을 위해서는 대규모 데이터가 필요하다. 최근에는 데이터 보안 강화, 비식별화 기술 등을 통해 데이터에 대하여 세심한 주의가 기울여지고 있지만, 여전히 민감 정보 취급·보관, 개인정보 사용 등에 대한 이슈가 발생할 수 있다.

데이터를 수집하는 과정에서 범죄 발생이나 위험 상황 예측을 위해 대규모 감시(예: 지능형 CCTV 기술, 번호판·얼굴 인식 기술 등)가 수반되어야 하는 경우에는 사회적 합의도 필요하다.

데이터 처리 과정 및 결과에 대해서도 모니터링 해야 한다. 주어진 데이터 셋이 대표성과 정확성이 있다고 ‘가정’하는 것이 편리할 수 있지만 부지불식간에 이것을 당연한 것으로 받아들이는 것을 조심해야 한다.

데이터에 광범위하고 체계적인 오류가 있을 경우 심각한 문제가 발생할 수 있다. 오류가 내포된 예측 정보를 바탕으로 정책적 결정을 내리게 될 수도 있고, 성별, 지역 등에 대하여 편향된 데이터를 사용한 예측 정보에 경찰관들이 지속적으로 노출되어 이것이 법 집행 관행으로 형성될 가능성도 있다. AI 윤리는 주어진 데이터의 정확성을 당연시하지 않고 데이터셋에 내재되어 있을 수 있는 사회경제적, 정치적 편향의 가능성에 대해 늘 의식할 필요가 있음을 제시한다.

AI 시스템은 서비스 목적과 상황에 맞는 모델을 사용할 때 효과적이다. 그러나 모든 상황을 정의하고 모델을 설계하는 것은 불가능하다. AI 시스템이 자가 학습하며 성장할 수 있더라도 AI 윤리 프레임워크를 통해 시스템 목표와 그에 따른 의사 결정의 가치가 지켜지도록 하는 것이 필요하다.

치안 분야에서는 법 내용을 규정하고 위반에 따른 법 집행을 모델에 정의하는 것이 가장 통상적인 방법이다. 그러나 주어진 법 규칙 및 코드 세트에 많은 계산 모델이 있을 수 있으며 결과에 대한 계산 인코딩 매핑 관계 추론이 쉽지 않을 수 있다. 이러한 문제를 어떻게 해결해야 할지 반드시 논의되어야 한다.

AI 시스템 개발을 위한 AI 윤리는 정교한 데이터 분석 기술 보다는 컨텍스트에 대한 이해를 필요로 한다. AI 윤리는 AI 시스템 설계의 목표 및 가치와 함께 시스템 출력 결과, 그리고 그 결과를 참조한 의사 결정 등의 영향에 대해 논한다. AI 시스템 설계자가 윤리적 이슈에 대한 인식 없이 시스템 동작 중심의 구현에만 목적을 둔다면 시스템에 내재화된 사회-기술적 문제가 그대로 사회에 영향을 미칠 수 있다. AI 시스템에서 추구하는 목표나 사회적 가치에 따라 동일한 사건을 다르게 인식할 수 있다.

AI 시스템에 범죄 예방 목적에서 밤늦은 시간에 사람들이 모여 있는 것을 폭력이 발생할 수 있는 위험 상황으로 정의할지, 실제로 폭력이 발생한 시점부터 위험 상황으로 정의할지에 따라 경찰이 언제 개입할지, 어떻게 대처할지 등에 대한 결정이 달라질 수 있다.

예측적 치안은 범죄가 발생하기 전에 예방하는 것을 도와줄 수 있지만, 범죄를 구성하는 요소들의 개념에 대해 재고를 필요로 한다. AI 기반 예측적 치안 시스템을 사용하는 과정에서 법 집행 기관은 범죄를 저지를 가능성이 있는 사람들을 어떻게 대해야 하는지, 그 가능성의 결정에 대한 인식론적 근거가 중요한지 등에 대한 질문을 던져야 한다.

치안 관련 법률상 유죄는 자신이 책임을 지는 행위를 실제로 행했을 때에만 적용된다는 사실을 상기할 때, 예측적 치안 시스템에서는 범죄 행위를 한 것과 범죄를 일으킬 위험 가능성은 높으나 아직 범행을 하지 않은 것을 어떻게 취급할 것인지는 매우 중요하다.

특정 개인이 범죄를 저지를 가능성이 높다고 말할 때, 그 개인의 행동과 과거 유사 데이터를 바탕으로 AI 시스템이 판단한 것일 텐데, 이것이 인구 통계 그룹의 구성원들 때문에 데이터가 영향을 받은 것은 아닌지에 대한 고민도 수반되어야 한다. 경찰과 사회가 범죄 가능성이 의심되는 사람들을 이미 범죄를 저지른 것과 같은 방식으로 취급하거나 범죄 용의자로 간주할 수 있는 최소한의 가능성을 의식해야 한다.

AI가 특정 기능을 수행하는 과정에서 분류된 범죄 유발 가능 지역, 잠재적 용의자의 라벨은 새로운 범죄 유형으로 보일 수 있으며 이는 인간의 사회적 정체성에 대한 새로운 이슈를 제기할 수 있다. 범죄 행위에 대한 근본적인 인과 메커니즘이 없는 경우 우연의 상관관계를 의심하여 사람들을 대하는 것은 부당하다. 사건의 통계적 가능성은 실제의 행위가 아니라는 것을 기억해야 한다.

AI 기술 활용을 위해 윤리적 설계에 관심 필요

치안 분야에서 AI 기술을 활용하여 범죄나 위험 상황을 예측하는 것이 본질적으로 비윤리적인 것은 아니다. 그러나 AI 활용에 따른 불합리하며 불공정한 영향을 피하기 위해서는 AI 시스템 설계 및 개발 과정에 윤리적 고려가 필요하다. 그럼에도 불구하고 AI 기술을 활용한 예측적 치안 시스템 및 시스템 내부의 예측 알고리즘 정책(Prediction Algorithm Policy)에 따른 출력 결과가 윤리적 결정에 이르도록 하거나 윤리적 분석을 수행하도록 시스템을 설계하거나 구현하려는 노력이 거의 이루어지지 않고 있다고 볼 수 있다. 특히, 치안 분야는 성격상 AI 윤리에 대한 고려가 절대적이다.

치안 분야 AI 시스템의 윤리적 설계를 하고자 하는 개발자는 현장 감각도 필수적으로 갖춰야 한다. 경찰 업무에 대한 현실적인 감각과 관할 구역 및 부서를 운영하는 절차 등에 대한 도메인 지식이 있어야 시스템 내부에 윤리적 판단이 필요한 부분을 찾아내고 알고리즘의 형태로 이를 구현할 수 있다.

신뢰할 수 있는 AI 시스템을 만들기 위해서는 AI 시스템 운영자와 이들이 생성하는 출력 결과의 사용자가 해당 시스템의 범위와 한계를 알 수 있어야 한다. AI 시스템의 알고리즘 계산은 개발자에게도 완전히 다 알기는 어려운 것이기도 하다. 그러나 개발자, 시스템 운용자, 사용자를 포함하는 AI 시스템 관계자들은 사람들이 시스템을 통해 할 수 있는 것과 할 수 없는 것, 그것이 얼마나 신뢰할 수 있는지, 한계가 무엇인지를 알려고 계속 노력해야 한다.

AI 도구와 기술의 사용이 그들과 관련된 사람들의 신념과 관행에 어떻게 영향을 미치는지 이해하는 것도 중요하다. 기존의 AI 시스템의 출력 결과가 통계적으로 정당화되더라도, 그 결과를 사용하는 법 집행자는 개인의 권리, 인간 존엄성을 무시하거나 사회적으로 부정적인 연쇄 효과를 발생시킬 수 있는 의사 결정을 해서는 안 될 것이다.

AI 윤리에 대한 관심과 이해는 사람들의 삶에 영향을 미칠 AI 시스템에 잠재적인 결함을 해결 또는 완화하는 데 도움이 될 수 있다. AI 시스템·서비스에 위협이 될 수 있는 것들을 분류하여 정리하고 잠재적으로 부정적 영향이 있을 수 있는 의사 결정을 완화하기 위해 데이터, 모델에 대한 투명성(Transparency), 데이터 입력에 의해 왜 그러한 출력이 발생하는지에 대한 설명가능성(Explainability), AI 시스템 활용과 출력 결과를 참조한 그 의사 결정에 따른 책무성(Accountability), AI 시스템의 처리 및 결과에 대한 공정성(Fairness) 등이 고려된 AI 윤리 프레임워크에 대한 연구가 필요하다.