레플리
글 수 281


https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

 

 

 

유명한 SF작가인 테드 창의 기고문입니다. ChatGPT를 JPG 같은 압축 알고리즘에 비유했습니다. 압축은 손실과 무손실로 구분됩니다. ZIP은 원본과 동일한 무손실 압축이고, JPG는 원본 그림에서 약간 정보를 삭제한 손실 압축입니다. ChatGPT 역시 손실 압축의 한 종류라고 주장합니다. 대신 압축의 효율이 엄청나게 높습니다. 그 이유는 텍스트를 이해하고 있기 때문입니다.

 

예를 들어, 간단한 산수 문제를 압축하려면 어떻게 할까요. 텍스트 유니코드를 ZIP으로 변환하는게 하나의 방법입니다. 하지만 만약 계산의 원리를 이해하고 있다면 문제만 저장하고 답이나 풀이과정은 버려도 됩니다. 복원할 때 답을 다시 계산하면 되니까요. 위키피디아 역시 마찬가지입니다. 글의 의미를 알고 있다면 핵심 내용만 기억하고 부가적인 문장들은 제거할 수 있습니다. 사람 역시 습득한 내용을 100% 기억하는게 아닙니다. 핵심 정보만을 가지고 다시 원래의 내용 또는 새로운 내용으로 생성해내는 것이죠.

 

지금 ChatGPT의 문제인 환각(hallucination)과 틀린 정보(misinformation)는 바로 압축으로 원본 정보가 손실되었기 때문에 발생합니다. 대신 이미지 압축이 보간(interpolation)을 사용하여 삭제된 정보를 보완하는 것처럼, ChatGPT도 모르는 내용이면 그럴 듯하게 사실을 꾸며냅니다.

 

그렇다면 환각과 틀린 정보를 해결할 수 있는 방안이 무엇일까요. 첫번째는 모델의 크기를 키워 저장 공간을 늘리는 것입니다. 두번째는 텍스트를 더 잘 이해하여 압축의 효율을 높이면 됩니다. 둘 다 쉽지 않은 방법일 텐데요. 그래도 빠른 시간내에 이러한 문제점이 해결될거라 기대해봅니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
Poe에 추가된 업스테이지의 LLM, Solar-70b file 깊은바다 2023-09-18 414
RAG 아키텍처를 위한 임베딩 모델의 선택에 대해 깊은바다 2023-09-14 496
LLM의 미래는 자율행동과 멀티 에이전트 깊은바다 2023-08-30 292
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 724
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 593
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 674
RAG 아키텍처의 이해 깊은바다 2023-07-23 1292
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 452
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 694
한국어 LLM 민주화의 시작 KoAlpaca file 깊은바다 2023-07-17 1017
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 353
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1150
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 9278
Generative AI — 시장 구조, 기회, moat에 대한 몇 가지 생각 깊은바다 2023-06-27 298
ChatGPT plugin와 Autonomous Agent, 그리고 새로운 패러다임의 시작 깊은바다 2023-06-27 203