AI의 공정성 수호할 기술 도구들

[프리미엄 리포트]

2021.03.13 14:00

게티이미지뱅크 제공

 

“사람들이 인공지능(AI)에 대한 환상을 갖고 있는 것 같습니다. AI를 맹신하면 안 돼요. 이미 AI는 알게 모르게 편향된 결단을 내리고 있고, 그 피해를 보는 건 취약층과 소수층입니다.”

AI 전문가들의 한결같은 말이다. 성별이나 인종, 연령대에 대한 AI의 차별은 이미 여러 차례 논란이 됐다. 마이크로소프트에서 개발한 대화형 AI ‘테이’의 인종 차별적 발언, 아마존 채용 AI의 성차별적 판단, 국내 대화형 AI ‘이루다’의 소수자 혐오 발언이 그 예다.

단, 기술적 의미에서 AI의 편향(bias)은 조금 더 넓은 범위를 포괄한다. 최재식 KAIST AI대학원 교수는 “사회적·윤리적 이슈에 대해서만이 아니라, 사실관계를 예측하는 AI가 한쪽으로 치우치는 문제도 AI 편향성에 포함된다”고 말했다.

가령 공장의 폐쇄회로(CC)TV를 보고 사고 위험성을 예측하는 AI가 있다고 가정해보자. 이 AI는 수많은 데이터를 학습하지만, 그 데이터 중 공장 폭발이란 결과에 도달한 것은 극히 일부다. AI가 이런 데이터로 계속 학습할수록 공장 폭발이란 예측을 할 가능성은 점점 줄어든다. 이 때문에 현장에서 공장 폭발의 징후가 나타나도, AI는 자신이 학습한 데이터에 따라 공장 폭발이란 경우를 배제해버릴 수 있다. 이처럼 개발자가 의도하지 않았음에도 AI가 편향된 예측을 내놓는 문제역시 AI 편향 문제에 해당한다.

 

불균형 데이터가 초래하는 불균형 AI

2019년 미국 댈러스에서 열린 IT기업 아마존의 채용박람회 현장. 아마존은 2014년부터 채용에 도입할 AI를 개발했으나 여성 지원자를 차별하는 문제를 해결하지 못하고 2017년 폐기에 이르렀다. 연합뉴스 제공

 

AI 편향성을 일으키는 주요 원인(아래 표)중 하나는 데이터의 불균형이다. KAIST 인공지능공정성연구센터장을 맡고 있는 유창동 KAIST 전기 및 전자공학부 교수는 “데이터가 많은 집단에 대해서는 AI가 학습을 통해 그 집단의 비교적 보편적인 결과를 도출할 수 있지만, 데이터가 적은 집단에 대해서는 AI의 결론이 그 집단을 대표한다고 볼 수 없는 경우가 발생한다”고 말했다.

한 예로 직원 대다수가 한국인이고, 소수만이 외국인 직원으로 구성된 회사에서 채용 AI에 이전 합격자의 이력서 데이터를 입력하는 경우를 들 수 있다. 이 경우 다수의 한국인 직원 이력서를 학습한 AI는 한국인 지원자를 판단할 때는 합격 기준선이 비교적 합당하게 설정되지만, 외국인 지원자에 대해서는 몇몇 외국인 직원의 이력서 데이터로만 학습한 탓에 그 기준선이 비합리적으로 설정될 수 있다. 이로 인해 동등한 능력을 지닌 지원자임에도 한국인은 합격하고, 외국인은 탈락하는 결과가 나타날 수 있다. 물론 반대 경우도 나타날 수 있다.

이처럼 집단 간에 표본 수가 달라 발생하는 편향은 지금까지 사회적으로 차별 받은 계층에게 흔히 일어난다. 데이터 축적 역시 기득권에게 더 유리한 일이기 때문이다. 그래서 데이터 불균형은 곧 사회적 차별 문제로 직결되는 경우가 잦다.

편향되지 않아 보이는 데이터도 문제가 될 수 있다. 아마존의 채용 AI가 대표적 예다. 아마존은 2014년부터 채용 과정에 도입할 AI를 개발했다. 개발팀은 이전 10년간의 합격자 이력서를 학습시켰고, 이를 통해 AI는 지원자를 1~5점으로 평가했다. 당시 전 세계 아마존 소속 직원 가운데 남성의 비율은 약 60%로 남성이 약간 많기는 했지만 심하게 차이가 나보이진 않았다.

하지만 1년 뒤, AI가 여성 지원자를 차별한다는 사실이 발견됐다. AI는 ‘여자 체스 클럽 주장’ ‘여자 대학 졸업’ 등 ‘여자’라는 단어가 포함된 이력서에 대해 점수를 낮게 조정했다. 이후 개발팀은 데이터에서 성별에 대한 정보를 제거했지만 문제가 해결되진 않았다. AI가 자기소개서 등 지원자가 작성한 문서의 문체에 따라 성별을 암묵적으로 구분하는 현상이 발견됐다. 성별 데이터가 제거돼도, AI가 스스로 성별을 유추할 수 있는 특성을 끄집어낸 것이다. 개발팀은 이 편향 문제를 끝내해결하지 못했고, 결국 2017년 팀 해체와 함께 채용 AI 개발 프로젝트는 폐기됐다.

 

 

열 수 없는 블랙박스, 딥러닝

 

AI 편향성 문제 해결에 가장 앞장선 건 세계적 정보기술(IT) 기업인 IBM, 구글, 페이스북이다. 유 교수는 “유럽연합(EU)에서는 편향된 AI를 법적으로 판매하지 못하도록 하고 있으며, 한국을 포함해 이외 지역에서도 정책적·법적 조치를 마련 중”이라며 “기업에서 공정한 AI를 개발하는 건 차별에 대한 사회적 책임을 넘어 자사의 AI 상품을 판매하기 위해서 반드시 선행해야 하는 과제”라고 말했다.

AI의 편향성을 해결하기 위해서는 먼저 편향의 원인이 무엇인지 파악하고, 그 부분을 고쳐야 한다. 현재는 알고리즘보다는 데이터상의 문제를 파악하고 제거하는 연구가 더 활발히 이뤄지고 있다. 요즘 각광받는 딥러닝 AI는 그 속을 들여다보는 것이 불가능에 가깝기 때문이다.

딥러닝이란 단어가 워낙 많이 언급되는 탓에 흔히 ‘AI=딥러닝’이라고 인식된다. 하지만 딥러닝은 많은 종류의 AI 중 하나일 뿐이다(AI⊃딥러닝). AI를 학습시키는 방법은 여러 가지가 있다. 그중 개발자가 AI에게 모든 규칙을 일일이 심어주지 않고, AI가 데이터로부터 스스로 의사결정을 위한 규칙을 형성하는 것을 기계학습(머신러닝)이라고 한다.

기계학습 안에는 또 여러 기법이 있는데 그중 하나가 딥러닝이다. 다른 기계학습이 한두 단계(층, layer)에 걸쳐 데이터를 학습하는 것과 달리, 딥러닝은 3개 이상의 여러 단계에 걸쳐 데이터를 학습하는 걸 뜻한다. 용량이 크고, 형태도 다양한 빅데이터를 정교하게 학습하는 데 탁월하기에 ‘AI=딥러닝’이라고 인식될 만큼 최근 AI 대부분은 딥러닝 방식으로 학습된다.

문제는 딥러닝 AI가 학습하는 여러 단계 중에는 사람이 알아낼 수 없는 숨겨진 단계(hidden layer)가 많다는 것이다. 그러다 보니 개발자조차 AI가 왜 그런 방식으로 작동했는지 알 수 없다. 이 탓에 ‘답은 맞는데 풀이과정은 알 수 없는 AI’로 비유되곤 한다. 이런 AI를 뜯어보기 위해 최근 들어 사람이 이해하는 형태로 작동방식을 설명하고 제시할 수 있는 설명가능 AI(XAI·eXplain AI)란 기술이 주목받고 있다. 하지만 당장 편향성 문제를 해결할 수준은 아니다. KAIST 설명가능인공지능연구센터장이기도 한 최재식 교수는 “궁극적으로 딥러닝 AI의 오류를 제거하기 한 XAI 연구가 급격히 증가하는 추세긴 하나 현 상황에서 AI의 편향성을 해결하는 데는 데이터의 편향을 제거하는 것이 더 적합하다”고 말했다.

이에 따라 데이터상의 문제를 파악하고 제거하는 연구가 주로 이뤄지고 있다. 이 때 ‘불공정하다’는 기준을 가를 수학적 정의가 필요하지만, 수식에 따라 공정에 대한 판단이 변해 일률적으로 적용할 수가 없다. 마치 똑같은 사안에 대해서 누구는 공정하다고 하고 누구는 불공정하다고 하는 것 같이, 수학적으로도 어떤 수식을 쓰느냐에 따라 불공정을 달리 판단한다. 이런 수학적 방식의 대표적인 예로 ‘인구통계적 형평성(Demographic parity)’ ‘가능성의 동등성(Equalized odds)’ ‘기회의 동등성(Equality of opportunity)’ 등이 있다. (맨 하단 '기계학습의 공정성 측정하는 수학정 정의 참고)

그렇다 보니 데이터 편향을 줄이기 위한 기술은 대부분 편향성과 관련이 있는 변수를 찾아 조정하는 데 초점을 맞추고 있다. 대표적 예가 구글에서 2017년부터 개발한 ‘왓-이프 툴(WIT·What-If Tool)’이다. 말 그대로 일부 데이터가 바뀌면 결괏값은 어떻게 변할까를 그래픽으로 표현해준다. 개발자가 만든 모델에 이 툴을 간단히 결합한 뒤, 특정 변수의 수치를 바꿔보면 그 변수가 불공정한 결과에 얼마나 영향을 미치는지 보기 쉬운 형태로 나타나는 것이다.

개개인의 여러 정보를 학습해 연간 약 5500만 원 이상의 소득(파란색)이 있을지 예측하는 알고리즘을 구글의 ‘왓-이프 툴’에 대입한 결과. 한 개인의 나이, 수입, 직업군 등의 수치(왼쪽 패널)를 바꾸면 결괏값이 달라지는 걸(노란색 사각형→초록색 사각형) 확인할 수 있다. 이를 통해 개인의 어떤 특정 정보가 결과에 큰 영향을 미치는지 알 수 있다. 동아사이언스DB

 

가령 채용 AI에 입력된 한 지원자의 정보에서 성별을 남성에서 여성으로 바꿔보거나, 나이를 20세에서 50세로 바꾸면 성별과 나이가 합격과 불합격을 가르는 데 불공정한 영향을 얼마나 끼치는지 도표로 표시된다.

이렇게 데이터의 불공정성을 측정하다 보면, 개발자가 의도한 것과 달리 차별적 결과를 내놓는 특정 변수를 발견할 수 있다. 그 변수를 ‘보호변수(Protective Attribute 또는 Sensitive Attribute)’로 지정해 불공정성을 최소화할 수 있다. 유 교수는 “보호변수는 AI의 판단에 영향을 주지 않도록 설정한 변수를 의미한다”며 “공정한 AI를 만들기 위해서는 성별, 인종, 지역 등 편향된 결과를 유발할 수 있는 요소를 보호변수로 지정하고 결과에 미치는 영향력을 조절하는 것이 매우 중요하다”고 말했다.

 

사람 손으로 만드는 공정한 AI

애비 자크 전 미국 MIT 철학과 연구원 (왼쪽· 현재 미국 스탠퍼드대 소속)이 AI 윤리 독서 그룹 학생들과 컴퓨터과학 커리큘럼에 도입할 윤리 과목에 대해 토론하고 있다. MIT (Kim Martineau) 제공

 

보호변수를 지정했다면, 다양한 알고리즘을 통해 보호변수의 영향력을 조절할 수 있다. 대표적 예로 IBM이 2018년에 내놓은 ‘AI 공정성(Fairness) 360’이라는 오픈소스 툴키트(소프트웨어 개발 도구 모음)가 있다. 이 툴키트는 편향을 완화할 수 있는 10가지 알고리즘을 포함하고 있다. 이 가운데에는 AI가 학습할 데이터에서 보호변수의 가중치를 수정하는 알고리즘, 학습 과정 중 보호변수의 영향을 감소시키는 알고리즘도 있다. 보호변수를 조절하는 것 외에도 AI의 학습 전후에 편향성을 감지하고 완화시킬 수 있는 알고리즘도 포함돼 있다.

이처럼 공정한 AI를 만들기 위한 다양한 방안과 도구가 마련되고 있지만 안타깝게도 완전히, 절대적으로 공정한 AI를 개발하는 일은 사실상 불가능하다. 유 교수는 “공정성이라는 개념 자체가 누구도 하나로 정의할 수 없는 개념”이라며 “병원, 법원, 기업에서 바라보는 공정성도 제각기 다르기 때문에 영역별로 공정성에 대한 개념을 확립하는 게 우선 과제”라고 말했다.

더군다나 공정성은 계속해서 진화하고 있는 개념이다. 예를 들어 과거에는 국내에 남성중심적 사고가 지금보다 더 강했다. 때문에 지금이라면 논란이 될만한 장면이 불과 10년 전만 해도 대중매체에서 거리낌 없이 등장했다. 유 교수는 “과거에 공정하다고 생각했지만 지금은 공정하지 않다고 여겨지는 것들이 많다”며 “하나의 공정한 AI를 만들었다고 끝나는 일이 아니라, 컴퓨터 바이러스 백신 프로그램을 계속 업그레이드하는 것처럼 공정한 AI도 현실의 공정성을 반영하는 수정을 끊임없이 지속해야 한다”고 말했다.

2019년 10월 국제학술지 ‘사이언스’에 의료 서비스가 필요한 환자를 예측하는 AI가 인종 차별을 한다는 연구결과를 낸 브라이언 파워스 브리검여성병원 부원장도 “알고리즘 편향을 측정하는 툴은 존재하지만 이를 활용한다 해도 편향의 모든 원인을 제거할 수 없다”며 “모든 알고리즘에 적용 가능한 하나의 해결 방법은 존재하지 않는다”고 말했다.

결국 AI의 공정성은 그 AI를 만드는 사람들 손에 달렸다. 불공정을 판가름할 수학적 기준을 정하는 일도, 그런 불공정을 조절할 알고리즘을 설계하는 일도 각 개발자들의 판단에 따르기 때문이다.
그래서 개발자들이 공정함에 대해 올바른 판단을 하기 위한 가이드라인이 필요하다. 법적·정책적 제도다. 이상욱 한양대 철학과 교수는 “한국에서 ‘윤리’는 일종의 바른생활과 같은 좁은 의미로 사용되지만, 해외에서 ‘ethics’는 바른생활을 뒷받침할 법적·정책적 제도까지 포함하는 개념”이라고 말했다. 각국에서는 공정성을 포함해 AI 윤리에 대한 법적·정책적 제도를 마련하기 위한 논의가 활발하다.

또 하나 필요한 것은 교육이다. AI를 배우는 단계에서부터 올바른 윤리관을 정립할 필요가 있다. 미국 매사추세츠공대(MIT), 하버드대 등 유수 대학은 AI 윤리 교육 프로그램을 별도록 만들었다. 뉴욕대에서는 데이터사이언스 학위를 취득하기 위해 ‘책임감 있는 데이터사이언스’란 AI 윤리 과목을 이수해야만 한다. 국내에서는 2022년 초·중·고교에서 AI 윤리를 포함한 ‘AI 교육’이 정식 도입될 예정이다. 최 교수는 “알고리즘을 만드는 개발자뿐만 아니라, AI 전체를 설계하는 기획자까지 모두 교육이 이뤄질 때 효과가 나타날 것”이라고 말했다.

 

▼이어지는 기사를 보려면?

 

 

과학동아 3월호 공정한 AI는 허상인가

Part1. AI, 치우침을 부추기다
Part2. AI 공정성을 보는 세 가지 시선
Part3. 공정성 수호할 기술 도구들
Part4. ‘차별하는 AI’를 극복하려면

 

관련 태그 뉴스

•  

  ‘이말년씨리즈’ 같은 히트작 그리는 ‘AI 만화가’ 꿈꿔요

  “저도 어릴 때 어린이과학동아 독자였어요. 특히 만화를 즐겨 봤죠.” 지난달 9일 서울 서초구 세이지 리서치 사무실에서 만난 이동익 연구원은 인공지능(AI) 개발자다. 그는 네이버 웹툰에 연재된 ‘이말년씨리즈’를 학습시켜 원작자인 이말년 씨처럼 그림을 그리는 AI를 개발했다. 그가 어린이과학동아와 인연을 맺을 건 과학고 진학 준비와 과학영재원 수업에 다니면서다. 다양한 과학 프로젝트 주제를 찾는 데 어린이과학동아가 큰 도움이 됐다. 그는 “과학에 대한 관심은 꾸준히 있었지만, 처음부터 AI 개발자를...

•  

• "‘폐기’하세요"…AI가 알려준다 소고기 신선도를

  소고기를 갈아서 모양을 바꾸거나 오랜 시간을 들이지 않고도 소고기의 신선도를 정확하고 빠르게 알 수 있는 기술이 나왔다. 광주과학기술원(GIST)은 융합기술원 이규빈 교수팀과 의생명공학과 김재관 교수팀이 공동으로 인공지능(AI)에 광 기술을 결합해 소고기 신선도를 측정하는 방법을 개발했다고 10일 밝혔다. 연구결과는 식품화학 분야 국제학술지 ‘푸드 케미스트리’ 2월 23일자 온라인판에 실렸다. 그간 소고기 등 육류의 신선도를 확인하기 위해서는 고기를 갈아 화학 성분을 확인하거나, 미생물을 이용해 측정하는 방법이 쓰...

•  

  마지막 티켓 2장을 잡아라…AI대학원 설립 총력 대구경북과학기술원(DGIST)

  삼성, 웨스턴디지털 등에서 현장 경험 쌓은 전문가 영입 논문 204편, IF 총합 728.8…지난해 대비 전임 교원 2배 늘려 “최근 전 세계 인공지능(AI) 연구는 총성 없는 인재 전쟁입니다.” 지난달 9일 대구광역시 달성군 현풍읍 대구경북과학기술원(DGIST)에서 만난 박경준 AI협업센터장(정보통신융합전공 교수)은 “지난 1년간 AI의 ‘숨은 고수’를 영입하는 데 가장 많은 공을 들였다”며 “인공신경망 알고리즘 개발 같은 소프트웨어뿐 아니라 국내 대학에는 드문 하드웨어 전문가까지 골고루 포진...