불평등 키우는 ‘빅데이터의 역설’

대량살상수학무기/캐시 오닐 지음/김경혜 옮김/흐름출판/392쪽/1만 6000원

범죄 현장을 조사하고 있는 미국 경찰.
AP 연합뉴스

수학과 데이터, 정보기술(IT)이 결합해 만들어진 빅데이터는 모든 문제를 해결해 줄 ‘황금 열쇠’로 여겨진다. 빅데이터의 가장 큰 강점으로 편견에 사로잡힌 인간보다 공정하며 개인의 권리와 이익을 보호한다는 것을 꼽는다. 과연 그럴까?

하버드 출신의 수학자이자 데이터 과학자인 캐시 오닐에 따르면 현실은 정반대다. 오닐은 정부, 기업, 사회에 도입된 데이터 기반의 알고리즘 모형들은 인간의 편견과 차별, 오만을 코드화해 불평등을 확대하고 민주주의를 위협하고 있다고 단언한다. 특히 인종차별, 빈부격차, 지역감정 등 인간이 가진 편견과 차별의식을 그대로 코드화한 알고리즘 모델은 대량살상무기만큼이나 위험하다며 ‘대량살상수학무기(Weapons of Math Destruction·WMD)라는 이름을 붙였다. 동명의 책에서 오닐은 수학이 어떻게 소외계층을 억압하고 불평등을 확대하는 데 이용되는지를 설득력 있게 풀어간다.

저자는 대량살상수학무기의 세 가지 특징으로 불투명성, 확장성, 피해의 악순환을 꼽는다. WMD의 투명성 부족은 공정한 경쟁이나 다양성보다는 획일성과 침묵을 강요한다며 2007년 워싱턴DC 시장으로 취임한 에이드리언 펜티가 도입한 교사평가시스템 ‘임팩트’를 예로 들었다. ‘매스매티카’란 업체가 개발한 이 알고리즘 기반 모형은 학업성취도에 영향을 주는 여러 가지 변수를 모두 제외하고 순전히 학생들의 시험점수만을 가지고 교사를 평가한다. 상세한 평가 기준을 공개하지 않은 채 이 프로그램으로 2년간 206명의 교사에게 실패자라는 꼬리표를 붙여 해고했으며 이 중에는 헌신적인 교사도 있었다. 평가 점수가 낮은 교사는 퇴출당한다는 조건 때문에 교사들은 학생들의 점수를 높이기 위해 시험 준비에 열을 올렸다. 교사들은 불이익을 우려해 시험 후에 시험답안을 수정하기도 했고, 일부 학교에선 전체 학급의 70%가 이런 부정행위에 가담했다.

미국에서는 재무정보, 인종, 학력, 출신지, 범죄기록, 언어사용능력 등 온갖 데이터를 수집해 신용도를 예측하는 ‘e점수’가 대출이나 신용카드 발급 등에서 중요한 평가 기준으로 쓰인다. e점수를 활용해 단기 소액 대출을 제공하는 제스트 파이낸스는 “모든 데이터가 신용데이터”라고 했지만 결과적으로 교육 수준이 낮은 저소득층이나 이민자들이 높은 이율의 대출을 받게 됐다. 저자가 ‘해로운 피드백 루프’라고 부르는 피해의 악순환 사례로 대표적인 것이 범죄예측프로그램이다. 지진 감지 프로그램으로 개발된 ‘프레드폴’은 과거의 범죄데이터를 분석해 범죄 발생이 예상되는 지역을 알려주는 역할을 한다. 프레드폴은 범죄가 자주 발생하는 지역에 경찰을 집중 투입하도록 설계되어 있는데 주로 저소득층이 거주하는 지역이었다. 강도, 살인, 강간 같은 중범죄를 다스리느라 순찰을 강화하다 보니 미성년자 음주, 노상 방뇨, 단순 절도 등 경범죄 단속건수가 높아졌다. 이 데이터는 다시 범죄예측시스템에 취합되고 더 많은 경찰이 순찰하게 만든다. 이 프로그램 등장으로 전체 범죄율은 줄었지만 유색인종, 저소득층 범죄율은 증가했다.

저자는 한국어판 서문에서 “대량살상수학무기는 폭탄을 장착한 진짜무기는 아니다. 오히려 물질적인 실체가 보이지 않기에 그 위험을 체감하기 어렵다. 확장성과 효율성이란 특성 때문에 영향력은 날이 갈수록 확대되고 있다”면서 “전 세계 모든 국가, 특히 민주주의 국가의 시민들은 수학적 알고리즘의 위험한 힘을 이해하고 그 힘을 제어하기 위해 나서야 한다”고 강조했다.

함혜리 선임기자