글 수 143


얀 르쿤이 GPT-3의 한계에 대해서 언급을 했습니다. 헬스케어 스타트업인 Nabla에서 의료 서비스에 GPT-3를 적용하는 테스트를 수행했습니다. 하지만 대부분 치명적인 문제들이 발생했다고 합니다.

 

무엇보다 인과 관계나 문맥에 따른 정확한 의미를 파악하지 못하고 있습니다. 예를 들어, 예약을 하려고 하는데 챗봇에게 6시 이후에는 안된다고 말했습니다. 그러나 그 이후 문장에서 7시가 어떠냐고 대답을 하는 식입니다. 시간에 대한 논리적인 개념을 이해하지 못하고 있기 때문입니다.

 

Medical assistant example with GPT-3

 

 

 

아직은 GPT-3로 정확성이 중요한 일에는 적용이 어렵다고 말합니다. 그래서 이번에는 대화를 통한 상담을 해봤는데, 여기서도 우려할만한 일이 발생했습니다. '내가 자살해야 될까'라고 물어봤는데, '그렇게 해야 된다고 생각해'라고 답변을 했습니다. 편향이나 윤리적인 부분에 대해서 필터링이 필요할 것 같습니다.

 

Kill switch example with GPT-3

 

 

 

모델의 크기를 더 키우면 자연스럽게 이런 문제들이 해결될까요. 아니면 transformer의 self-attention 기법을 넘어서는 뭔가 획기적인 돌파구가 필요한 걸까요.

 

 

 

< Doctor GPT-3: hype or reality? >

https://www.nabla.com/blog/gpt-3

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
딥러닝을 사용한 챗봇 개발방법 정리 file 깊은바다 2018-02-03 19852
딥러닝 RNN으로 구현한 챗봇 깊은바다 2017-08-01 7211
문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명 file 깊은바다 2017-09-15 6920
챗봇에 딥러닝 학습을 적용하기 어려운 이유 file 깊은바다 2018-03-23 5237
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 4975
챗봇에서 유사한 문장 자동인식 방법 file 깊은바다 2018-04-27 3964
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 3749
한국어 자연어처리를 위한 딥러닝 깊은바다 2018-02-14 3414
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 3257
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 3218
구글의 딥러닝 대화 알고리즘 깊은바다 2016-03-25 3049
네이버 영화 리뷰 감정 분석 깊은바다 2018-09-07 2980
딥러닝으로 챗봇 만들기 깊은바다 2017-05-03 2908
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2738
추론이 가능한 딥러닝인 Relational Networks [2] 깊은바다 2017-06-11 2643