레플리
글 수 113

언어로만 훈련된 초거대모델의 한계점

조회 수 287 추천 수 0 2022.12.26 12:52:01


https://www.facebook.com/1biit/posts/10161158490516410

 

 

 

"모든 지식이 언어적이라는 견해를 버리면 우리 지식의 상당 부분이 비언어적임을 깨닫게 됩니다."

 

"언어만으로 훈련된 시스템은 지금부터 우주가 죽을 때까지 훈련을 받더라도 결코 인간의 지능에 근접하지 못할 것입니다."

 

 

 

GPT-3 같은 LLM(Large language models)이 hallucination을 겪는 이유가 바로 이것 때문일까요. 언어로만 세상을 배워서는 한계가 있습니다. 사과는 빨갛다라고 말하지만 실제 그 개념을 정확하게 이해하기는 어렵습니다. 사과를 눈으로 보거나, 만져보거나, 냄새를 맡거나, 먹어보는 등의 경험이 없기 때문입니다.

 

 

 

영화 굿 윌 헌팅에 비슷한 비유가 있습니다. 로빈 윌리엄스가 맷 데이먼에게 이렇게 말합니다.

 

"넌 네가 뭘 지껄이는 건지도 모르고 있어...내가 미술에 대해 물으면 넌 온갖 정보를 다 갖다댈걸. 미켈란젤로를 예로 들어볼까. 그에 대해 잘 알거야. 그의 걸작품이나 정치적 야심, 교황과의 관계, 성적 본능까지도 알거야, 그치? 하지만 시스타나 성당의 내음이 어떤지는 모를걸? 한 번도 그 성당의 아름다운 천정화를 본 적이 없을테니까. 난 봤어."

 

 

 

테드 창의 소설 '소프트웨어 객체의 생애 주기'에 디지언트란 가상의 반려동물이 나옵니다. 전직 동물 조련사인 주인공이 가상환경에서 디지언트를 아기 때부터 키웁니다. 그래서 사람과 교감할 수 있는 인공지능을 만들어냅니다.

 

진정한 AGI가 탄생하려면 인공지능에게 몸이 필요하지 않을까요. 물론 현실세계가 좋겠지만 학습 효과나 속도를 높이기 위해서 가상세계에서 배울 수도 있습니다. 결국 사람과 같은 지능을 얻기 위해서는 사람과 같은 방법으로 학습해야 된다고 생각합니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
AI 대부 제프리 힌튼, 구글 퇴사…수십년 AI 연구 후회 깊은바다 2023-05-04 280
초거대AI의 시대, 인공지능 개발자의 미래는 깊은바다 2023-02-17 214
인공지능 개발자는 앞으로 무엇을 해야 할까 깊은바다 2023-02-17 193
초지능 탄생 만화 - 특이점이 왔다 file 깊은바다 2023-01-20 407
언어로만 훈련된 초거대모델의 한계점 깊은바다 2022-12-26 287
한국 인터넷의 아버지 전길남, 우리가 인공지능을 배워야 하는 이유 깊은바다 2022-07-25 787
인공지능이 우리의 뇌를 퇴화시키는 것일까 깊은바다 2022-07-11 583
의식을 가진 인공지능이 탄생할 수 있을까 깊은바다 2022-06-20 580
구글 직원 LaMDA가 지각을 가지고 있다고 주장 - 대화전문 포함 깊은바다 2022-06-15 837
OpenAI의 일리야 수츠케버, 초거대모델이 약한 의식을 가질지도 모른다 file 깊은바다 2022-02-14 1057
메타버스에서도 오토봇이 문제가 될까 깊은바다 2022-02-06 752
디트로이드 비컴 휴먼 - 기계가 의식을 갖게 될까 깊은바다 2022-01-30 812
초거대모델 시대에 AI 개발자의 미래는? file 깊은바다 2021-12-25 430
인공지능은 어떻게 탄생했을까? 깊은바다 2021-10-25 734
딥러닝이 상식에 취약한 이유 file 깊은바다 2021-08-21 1720