“AI 데이터 알고리즘에, 프라이버시는 무용지물”

맥시밀리언 케이시 옥스퍼드 대학교 경제학과 교수의 이 칼럼은, ‘민주적 데이터 거버넌스’의 필요성을 강력히 제기했다. 첫째, 기업과 정부가 AI를 배치하기 전에, 알고리즘의 목표를 투명하게 공개하도록 의무화해야 한다는 것. 둘째, 시민 회의(Citizens’ Assemblies) 같은 민주적 절차를 통해 AI의 목표가 공공의 이익과 일치하도록 검토하고 승인하는 제도를 고려해야 한다는 주장이다.

NYT의 이 칼럼은 “AI가 어떻게 당신의 개인 데이터를 이용해 당신의 이웃을 해칠 수 있는가”를 알기위해서는 “AI의 예측 방식을 이해해야 한다”고 강조한다. 당신이 일자리를 지원한다고 상상해 보라. 당신은 뛰어난 이력서를 가진 유능한 후보지만, 면접 전화조차 받지 못할 수 있다.

당신은 모르겠지만, 지원자를 심사하는 데 사용된 AI 알고리즘이 당신에 대해 ‘너무 위험하다’고 판단했을 수 있다. 어쩌면 AI는 당신이 회사 문화에 맞지 않거나, 나중에 노동조합 가입 또는 결혼 같은 마찰을 일으킬 만한 행동을 할 가능성이 있다고 추론했을 수 있다. 이러한 AI의 추론 과정을 보는 것은 불가능하며, 이의를 제기하는 것은 훨씬 더 어렵다.

당신이 안전한 디지털 프라이버시를 실천하는지는 중요하지 않다고 NYT는 일축했다. △개인정보를 대부분 숨기고, △온라인에서 의견 공유를 피하며, △앱과 웹사이트의 추적을 금지해도 소용없다. AI는 당신에 대한 매우 적은 세부 정보를 바탕으로, 당신이 직장에서 어떻게 행동할지를 예측한다. 당신과 비슷한 수많은 다른 사람들에게서 학습한 패턴을 기반으로 하기 때문이다.

이것이 점점 더 ‘AI 하의 삶’이 되어가고 있다고 NYT는 강조했다. 은행은 알고리즘을 사용해 대출 이력을 학습하고, 누가 채무 불이행을 할지 예측해 대출 대상을 결정할 수 있다. 일부 경찰서는 몇 년간의 범죄 활동 및 체포 기록을 ‘예측 치안(predictive policing)’ 알고리즘에 입력해, 경찰관들을 우범지역으로 자주 순찰 보내게 했다.

소셜 미디어 플랫폼은 우리의 집단적인 클릭을 사용해, 우리 각자가 어떤 뉴스나 허위 정보를 보게 될지 결정한다. 언제나 우리는 ‘자신의 데이터를 비공개로 유지하면, 원치 않는 결과로부터 각자를 보호해 줄 것’이라고 희망할 수 있다. 하지만 AI는 ‘당신이 무엇을 해왔나’를 알 필요가 없다. AI는 ‘당신과 같은 사람들이 전에 무엇을 했나’만 알면 된다.

바로 이 때문에 프라이버시는 더 이상, 개인 단위로 방어될 수 없다고 NYT는 밝혔다. AI와 함께 살아가는 것에 적응하면서 우리는, ‘우리 모두의 데이터’에 대해 ‘집단적인 통제’를 행사해 ‘데이터가 우리에게 이익을 주는지 해를 주는지’를 결정해야 한다.

2000년대에 디지털 프라이버시에 대한 우려가 커지자, 컴퓨터 과학자들은 프라이버시 보호 프레임워크를 구축했다. 개인의 신원을 보호하면서도 사용자의 패턴을 더 광범위하게 학습할 수 있는 ‘차등 프라이버시(differential privacy)’가 그것. 

차등 프라이버시를 사용하는 알고리즘은 데이터에 ‘아주 작은 무작위성’을 추가해, 전반적인 결과에는 영향을 주지 않으면서도 데이터에 누가 정확히 포함되어 있는지 아무도 식별할 수 없게 한다. 이러한 보호 장치는 사람들이 데이터를 제3자와 공유하는 것을 더 기꺼이 하도록 만들 수 있다. 이 차등 프라이버시 알고리즘은 이제 매우 일반적이다. 

애플 아이폰은 이 차등 프라이버시 알고리즘을 내장해, 어떤 데이터가 누구의 휴대폰으로부터 왔는지 드러내지 않고도 사용자 행동 및 트렌드에 대한 정보를 수집한다. 2020년 미국 인구조사는 개인정보를 보호하기 위해, 미국 인구 보고에 차등 프라이버시를 사용했다.

하지만, 데이터 내의 패턴은 여전히 남아 있다고 NYT는 우려했다. 그것만으로도 강력한 행동을 끄집어내기에 충분하기 때문이다. 기술 회사인 팔란티어는 이민세관집행국(ICE)을 위해 이민관리운영체계(ImmigrationOS)라는 AI 시스템을 구축하고 있다. 이 시스템은 사회보장국, 차량관리국, 국세청, 차량 번호판 인식기, 여권 활동 등 많은 데이터 출처를 결합하고 분석한다. 그래서 추방 대상을 식별하고, 추적하며, 이로써 차등 프라이버시가 제기하는 장애물을 우회한다.

어떤 한 사람이 누구인지 알지 못하더라도, 알고리즘은 미등록 이민자들이 가장 많이 발견될 지역, 직장, 학교를 예측할 수 있을 가능성이 높다. ‘라벤더(Lavender)’와 ‘아빠는 어디에(Where’s Daddy?)‘라고 불리는 AI 알고리즘들이 이와 유사한 방식. 이들은 이스라엘 군이 가자 지구에서 폭격 목표물을 결정하고 위치를 찾는 데 도움을 준 것으로 알려졌다.

기후 변화에서 한 사람의 배출량은 대기를 바꾸지 않는다. 하지만, 모든 사람의 배출량은 지구를 파괴할 것이다. 당신의 배출량은 다른 모든 사람에게 중요하다. 마찬가지로, 한 사람의 데이터 공유는 사소해 보인다. 하지만, 모든 사람의 데이터를 공유하고 AI가 이를 사용하여 결정을 내리도록 하는 것은 사회를 변모시킨다. 

AI에 주어진 목표에 우리가 동의한다면, 모두가 자신의 데이터를 공유해 AI를 훈련시키는 것은 훌륭하다. 하지만 우리가 그 목표에 동의하지 않는다면, 그리고 알고리즘의 결정이 우리의 직업, 행복, 자유, 심지어 생명을 위협할 수 있다면, 그것은 전혀 훌륭하지 않다.

집단적인 피해로부터 우리 자신을 보호하기 위해, 우리는 제도를 구축하고 법률을 통과시켜야 한다. AI 알고리즘에 의해 영향을 받는 사람들이, 알고리즘이 어떻게 설계되고 무엇을 달성하고자 하는지에 대해 목소리를 낼 수 있도록 해야 한다.

첫 번째 단계는 투명성이다. 기업의 재무 보고 요건과 유사하게, AI를 사용하는 기업과 기관은 그들의 목표와 알고리즘이 무엇을 최대화하려는지를 공개하도록 요구받아야 한다. 그것이 소셜 미디어의 광고 클릭 수이든, 노조에 가입하지 않을 직원을 채용하는 것이든, 총 추방 건수이든 말이다.

두 번째 단계는 참여다. 알고리즘 훈련에 데이터가 사용되고 그들의 삶이 그 알고리즘에 의해 형성되는 사람들은, 알고리즘의 목표를 결정하는 데 도움을 줘야 한다. 민사 또는 형사 사건을 심리하고 함께 평결을 내리는 동료 배심원처럼. 우리는 무작위로 선정된 대표적인 사람들이 숙고하고 알고리즘의 적절한 목표를 결정하는 시민 회의를 만들 수 있다. 이는 기업의 노동자들이 직장에서 AI 사용에 대해 숙고하거나, 정부 기관이 예측 치안 도구를 배치하기 전에 그 목표를 검토할 수 있다. 이러한 종류의 민주적 견제만이, AI를 사적인 힘이 아닌 공공의 이익과 일치시킬 수 있다.

AI의 미래는, 더 똑똑한 알고리즘이나 더 빠른 칩에 의해 결정되지 않을 것이다. 그것은 누가 데이터를 통제하는지와, 누구의 가치와 이익이 기계를 이끌어갈지에 달려 있을 것이다. AI가 공공을 위해 봉사하기를 원한다면, 공공이 AI가 봉사할 대상을 결정해야 한다고  NYT는 역설했다.

권세인 기자