레플리
글 수 108

언어로만 훈련된 초거대모델의 한계점

조회 수 227 추천 수 0 2022.12.26 12:52:01


https://www.facebook.com/1biit/posts/10161158490516410

 

 

 

"모든 지식이 언어적이라는 견해를 버리면 우리 지식의 상당 부분이 비언어적임을 깨닫게 됩니다."

 

"언어만으로 훈련된 시스템은 지금부터 우주가 죽을 때까지 훈련을 받더라도 결코 인간의 지능에 근접하지 못할 것입니다."

 

 

 

GPT-3 같은 LLM(Large language models)이 hallucination을 겪는 이유가 바로 이것 때문일까요. 언어로만 세상을 배워서는 한계가 있습니다. 사과는 빨갛다라고 말하지만 실제 그 개념을 정확하게 이해하기는 어렵습니다. 사과를 눈으로 보거나, 만져보거나, 냄새를 맡거나, 먹어보는 등의 경험이 없기 때문입니다.

 

 

 

영화 굿 윌 헌팅에 비슷한 비유가 있습니다. 로빈 윌리엄스가 맷 데이먼에게 이렇게 말합니다.

 

"넌 네가 뭘 지껄이는 건지도 모르고 있어...내가 미술에 대해 물으면 넌 온갖 정보를 다 갖다댈걸. 미켈란젤로를 예로 들어볼까. 그에 대해 잘 알거야. 그의 걸작품이나 정치적 야심, 교황과의 관계, 성적 본능까지도 알거야, 그치? 하지만 시스타나 성당의 내음이 어떤지는 모를걸? 한 번도 그 성당의 아름다운 천정화를 본 적이 없을테니까. 난 봤어."

 

 

 

테드 창의 소설 '소프트웨어 객체의 생애 주기'에 디지언트란 가상의 반려동물이 나옵니다. 전직 동물 조련사인 주인공이 가상환경에서 디지언트를 아기 때부터 키웁니다. 그래서 사람과 교감할 수 있는 인공지능을 만들어냅니다.

 

진정한 AGI가 탄생하려면 인공지능에게 몸이 필요하지 않을까요. 물론 현실세계가 좋겠지만 학습 효과나 속도를 높이기 위해서 가상세계에서 배울 수도 있습니다. 결국 사람과 같은 지능을 얻기 위해서는 사람과 같은 방법으로 학습해야 된다고 생각합니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
손정의, 20년 안에 인간은 금붕어같은 존재가 될 것 file 깊은바다 2024-03-13 68
한국 NVIDIA 전 지사장과 나눈 대화 - 기술이 아닌 아이디어의 시대 깊은바다 2023-11-15 136
생성AI는 이제 기술보다 인프라로 접근해야 한다 깊은바다 2023-11-15 116
한국전파진흥협회에서 강의한 챗GPT와 메타버스 영상입니다 file 깊은바다 2023-11-12 100
LLM 2명 타요 file [7] 깊은바다 2023-11-08 294
손정의와 데미스 하사비스, AGI는 10년 안에 가능 [1] 깊은바다 2023-10-06 166
GPT-4가 인간보다 창의적 [1] 깊은바다 2023-08-14 206
생성AI 경제 모델, 기존 AI와 어떻게 다른가? 깊은바다 2023-08-11 180
MBC 탐사기획 스트레이트 - 챗GPT 혁명, 인공지능의 습격 file 깊은바다 2023-06-06 119
딥마인드CEO, 인간수준 AI 몇년내 가능 깊은바다 2023-05-05 134
AI 대부 제프리 힌튼, 구글 퇴사…수십년 AI 연구 후회 깊은바다 2023-05-04 183
초거대AI의 시대, 인공지능 개발자의 미래는 깊은바다 2023-02-17 129
인공지능 개발자는 앞으로 무엇을 해야 할까 깊은바다 2023-02-17 109
초지능 탄생 만화 - 특이점이 왔다 file 깊은바다 2023-01-20 285
언어로만 훈련된 초거대모델의 한계점 깊은바다 2022-12-26 227