레플리
글 수 203


모델들의 공통적인 구조
• Encoder
– 질의와 문맥을 벡터로 표현
• Co-attention
– 상호 Attention을 통해 문맥과 질의 간의 관계 파악
• Output
– 질문에 해당하는 정답 단어의 시작과 끝...

 

https://www.slideshare.net/NaverEngineering/ss-108892693

 

 

 

기계독해(Machine Reading Comprehension)에 대해 설명한 자료입니다. 대표적인 벤치마크로 SQuAD(Stanford Question Answering Dataset)를 들 수 있는데요. 다음과 같이 지문과 질문이 주어지면 정답의 시작과 끝을 예측합니다.

 

< 지문 >
대한민국의 가수 겸 배우. 본명은 이지은이며, 아이유(IU)는 예명이다. 아이유(IU)는 '음악으로 너와 내가 하나가 된다'라는 뜻을 가지고 있다. 2008년에 데뷔하였다. 국민 여동생이라고도 불렸다.

 

< 질문 >
아이유가 데뷔한 년도는?

 

< 정답 >
2008년

 

 

 

지문과 질문을 벡터로 표현하는 Encoder, 상호 어텐션을 통해 관계를 파악하는 Co-attention, 지문에서 정답의 시작과 끝을 출력하는 Output으로 나누어 설명하고 있습니다. 최근에는 SQuAD의 상위권을 거의 트랜스포머 기반의 모델이 차지하고 있습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
인공지능 과학자의 꿈, 범용 AI는 가능할까 깊은바다 2021-10-15 865
딥러닝 범용 모델 - Foundation Models 깊은바다 2021-09-06 1319
소프트웨어 개발 경험이 먼저다 - 딥러닝 역시 S/W 기술의 하나일 뿐 깊은바다 2021-07-14 914
제프리 힌튼, 얀 르쿤, 요슈아 벤지오가 말하는 딥러닝의 미래 깊은바다 2021-07-08 880
OpenAI의 CLIP을 사용해서 자연어로 유튜브 영상 검색 깊은바다 2021-07-05 1099
스케치를 사진으로 바꾸어주는 프로그램 - NVIDIA CANVAS 깊은바다 2021-06-25 637
한 단어만으로 텍스트 스타일을 바꿔주는 딥러닝 모델 - TextStyleBrush 깊은바다 2021-06-24 659
GameGAN으로 직접 화면을 생성하는 GTA5 게임 깊은바다 2021-06-20 639
Transformer와 동급의 성능에 속도는 훨씬 빨라진 MLP-Mixer file 깊은바다 2021-06-11 1447
GAN으로 얼굴사진을 생성하는 사이트 - Face Generator file 깊은바다 2021-04-28 2796
말로 설명하여 이미지를 변형하는 GAN - StyleCLIP file 깊은바다 2021-04-04 1818
GPT-3로 광고문구를 만드는 서비스 - Copy.ai 깊은바다 2021-03-22 648
딥러닝의 창시자인 제프리 힌튼이 구글에 합류하게 된 스토리 깊은바다 2021-03-18 418
뉴런 하나로 특정 개념을 표현한다, CLIP 모델에서 개념 뉴런을 발견 file 깊은바다 2021-03-12 574
스냅챕의 디즈니 필터 깊은바다 2021-03-12 529