https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

유명한 SF작가인 테드 창의 기고문입니다. ChatGPT를 JPG 같은 압축 알고리즘에 비유했습니다. 압축은 손실과 무손실로 구분됩니다. ZIP은 원본과 동일한 무손실 압축이고, JPG는 원본 그림에서 약간 정보를 삭제한 손실 압축입니다. ChatGPT 역시 손실 압축의 한 종류라고 주장합니다. 대신 압축의 효율이 엄청나게 높습니다. 그 이유는 텍스트를 이해하고 있기 때문입니다.

예를 들어, 간단한 산수 문제를 압축하려면 어떻게 할까요. 텍스트 유니코드를 ZIP으로 변환하는게 하나의 방법입니다. 하지만 만약 계산의 원리를 이해하고 있다면 문제만 저장하고 답이나 풀이과정은 버려도 됩니다. 복원할 때 답을 다시 계산하면 되니까요. 위키피디아 역시 마찬가지입니다. 글의 의미를 알고 있다면 핵심 내용만 기억하고 부가적인 문장들은 제거할 수 있습니다. 사람 역시 습득한 내용을 100% 기억하는게 아닙니다. 핵심 정보만을 가지고 다시 원래의 내용 또는 새로운 내용으로 생성해내는 것이죠.

지금 ChatGPT의 문제인 환각(hallucination)과 틀린 정보(misinformation)는 바로 압축으로 원본 정보가 손실되었기 때문에 발생합니다. 대신 이미지 압축이 보간(interpolation)을 사용하여 삭제된 정보를 보완하는 것처럼, ChatGPT도 모르는 내용이면 그럴 듯하게 사실을 꾸며냅니다.

그렇다면 환각과 틀린 정보를 해결할 수 있는 방안이 무엇일까요. 첫번째는 모델의 크기를 키워 저장 공간을 늘리는 것입니다. 두번째는 텍스트를 더 잘 이해하여 압축의 효율을 높이면 됩니다. 둘 다 쉽지 않은 방법일 텐데요. 그래도 빠른 시간내에 이러한 문제점이 해결될거라 기대해봅니다.