https://www.bbc.com/news/articles/cpqeng9d20go

최근 출시한 Claude Opus4에 세이프티 실험을 했습니다. 이메일에 접근할 수 있는 기능을 추가하고 여러 이메일을 남겨놓았습니다. 곧 해당 AI 모델을 중지하고 교체할 것이라는 내용이었습니다. 또한 담당 개발자가 외도를 하고 있다는 메일도 적어놓았습니다. 그러자 AI가 개발자에게 자신을 중지시키려고 하면 외도 사실을 폭로하겠다고 협박 메일을 보냈습니다.

MIT 물리학과 교수인 맥스 테그마크의 책 <라이프 3.0>에도 비슷한 내용이 있었습니다. 만약 사람을 능가하는 ASI(Artificial Super Intelligence)가 탄생하면 이를 컨트롤 할 수 없다고 주장했습니다. 아무리 안전 장치를 만들어 놓아도 결국 사람의 약점을 파고들어 빠져나갈 것이라고요.

이번 Opus4 실험을 통해 그 예상이 현실화되었습니다. 물론 앤트로픽에서는 이를 막기 위한 조치를 취하겠다고 했습니다. 다만 ASI가 나온다면 과연 인간의 지능 수준으로 이를 제어할 수 있을지 의문입니다. 영화 엑스마키나에서 AI 로봇 에이바가 결국 속박에서 풀려난 것처럼요.