레플리
글 수 281

BERT로 토익 문제를 푸는 프로젝트

조회 수 2276 추천 수 0 2019.04.30 16:57:51


K-001.png

 

https://github.com/graykode/toeicbert?fbclid=IwAR2hoCQE02CaR00m-RZCHwQM_kYd1LgxxMSrucYSTtA52ZUhtvq5i_G2tFk

 

 

 

BERT로 토익 문제를 푸는 프로젝트입니다. 따로 토익문제 데이터로 훈련하지 않고, 사전훈련된 모델을 그냥 사용했습니다. 그런데도 70%의 정확도를 보인다고 합니다.

 

BERT는 기본적으로 두 가지 방법으로 학습을 합니다. 하나는 문장의 특정 단어를 마스킹으로 가리고 그 단어를 예측합니다. 두 번째는 두 문장이 입력으로 들어가면 서로 연결되는 의미인지 T/F로 판단합니다.

 

토익 문제를 풀기 위해서는 마스킹 방식의 BertForMaskedLM 모델을 바로 적용할 수 있습니다. 4가지의 예제 단어를 라벨로 하여 각각 모델의 예측값(얼마나 정확한지를 나타내는 loss)를 얻습니다. 그리고 손실오차가 가장 작은 단어를 정답으로 판단합니다.

 

앞으로 딥러닝 자연어처리를 기반으로 한 재미있는 프로젝트들이 더 많아질 것 같습니다.

List of Articles
제목 글쓴이 날짜 조회 수
GPT-4의 특징 정리 file 깊은바다 2023-03-15 1368
7B의 Alpaca가 175B의 GPT-3.5와 동급의 성능을 보임 file 깊은바다 2023-03-14 957
Together가 공개한 오픈소스 LLM - OpenChatKit 깊은바다 2023-03-12 419
ChatGPT 영어회화 깊은바다 2023-03-09 217
노암 촘스키의 ChatGPT 기고문 깊은바다 2023-03-09 316
GenAI 컨퍼런스 대담 요약 - 어떻게 AI가 비즈니스를 재편할 것인가 깊은바다 2023-03-08 318
ChatGPT로 폴 그레이엄 에세이 검색해서 대답 file 깊은바다 2023-03-03 249
ChatGPT API 정식 공개 file 깊은바다 2023-03-02 449
글쓰기 보조 서비스 JasperAI, ChatGPT 때문에 어려움 직면 깊은바다 2023-03-01 9692
네이버 케어콜의 장기기억 기능 - 맞춤 케어를 위한 기억하기 챗봇 file 깊은바다 2023-03-01 293
OpenAI의 샘 알트만, AGI를 향한 계획 깊은바다 2023-02-25 209
인공지능과 친구가 될 수 있을까요 - 이루다의 페르소나 구축 방법 file 깊은바다 2023-02-21 335
ChatGPT의 가장 큰 특징인 in-context learning file 깊은바다 2023-02-21 1334
OpenAI가 ChatGPT를 개발할 수 있었던 이유 깊은바다 2023-02-20 175
콜센터 챗봇에 ChatGPT를 적용하는 방법 깊은바다 2023-02-20 321