http://www.bloter.net/archives/312784

"사회신용시스템은 5개 부문, 30개 영역에서 주민의 온오프라인 정보를 수집해 350점에서 950점 사이 점수를 매긴다. 운전습관, 금연 구역에서 흡연, 과도한 게임 구매, 온라인상 가짜 뉴스 유포 등 매우 다양한 항목이 사회신용에 영향을 미친다.

신용평가점수가 600점에 도달하면 대출을 받을 수 있다. 만약 점수가 낮으면 어떻게 될까? 인터넷 속도가 느려지고, 보험 가입이나 대출이 제한되며 여행도 어려워진다. <와이어드>에 따르면 ‘블랙리스트’에 오른 사람들은 열차도 탈 수 없다."

흔히 알고리즘은 공정하고 객관적이라 생각하지만 실제로는 데이터나 작성자의 의도에 따라 편향될 수 있습니다. 예를 들어, 범죄가 많이 발생하는 지역에 경찰차를 더 보내는 알고리즘을 생각해 보겠습니다. 순찰을 많이 할 수록 고과를 올리기 위해 사소한 범죄도 잡아내곤 합니다. 그러면 범죄 데이터가 더 쌓이고 그 지역에 순찰을 더 많이 하는 악순환이 발생합니다.

또한 인간적인 판단이 사라지기 때문에 한번 낮은 점수를 받은 사람들은 영영 기회를 박탈당합니다. 예전에는 데이터가 적기 때문에 사람이 직접 보거나 만나서 얘기를 해보고 결정을 하는 경우가 많았습니다. 그러면 다른 수치가 낮더라도 그 사람의 매력이나 장점을 파악하고 대출을 해주거나 채용을 하는 경우도 많이 있었습니다. 지금은 많은 부분이 인공지능으로 계산되어 자동으로 평가되어서 어려운 상황에 놓인 사람들은 좀처럼 벗어나기가 힘들어 졌습니다.

요즘 인터넷의 발달로 정보 공유가 빨라지면서 민주주의에 도움이 될거라 여기는 사람이 많습니다. 하지만 가짜뉴스 사태에서 보듯이 과도한 정보는 오히려 조작하기가 더 쉽습니다. 그리고 과거에는 감시를 위해서는 인력이 필요하기 때문에 극소수를 대상으로만 하였습니다. 하지만 에드워드 스노든이 폭로한 것처럼 인공지능을 사용해서 일반인을 대상으로 광범위하게 정보를 수집하고 있습니다.

만약 자동화로 인해 일자리가 감소하고 정부의 보조금으로 연명하는 사람들이 늘어나며 양극화가 심해질 경우 중산층이 무너지는 사태가 발생합니다. 그러면 국민들의 힘이 약해지게 될 뿐만 아니라 알고리즘으로 세밀한 통제가 가능해지면 민주주의의 존립 자체가 위험해질 수도 있습니다. 그럴 경우는 없어야겠지만 인공지능이 꼭 장미빛 미래를 약속하는 것은 아닐 것 같습니다.