레플리
글 수 293

BERT로 토익 문제를 푸는 프로젝트

조회 수 2462 추천 수 0 2019.04.30 16:57:51


K-001.png

 

https://github.com/graykode/toeicbert?fbclid=IwAR2hoCQE02CaR00m-RZCHwQM_kYd1LgxxMSrucYSTtA52ZUhtvq5i_G2tFk

 

 

 

BERT로 토익 문제를 푸는 프로젝트입니다. 따로 토익문제 데이터로 훈련하지 않고, 사전훈련된 모델을 그냥 사용했습니다. 그런데도 70%의 정확도를 보인다고 합니다.

 

BERT는 기본적으로 두 가지 방법으로 학습을 합니다. 하나는 문장의 특정 단어를 마스킹으로 가리고 그 단어를 예측합니다. 두 번째는 두 문장이 입력으로 들어가면 서로 연결되는 의미인지 T/F로 판단합니다.

 

토익 문제를 풀기 위해서는 마스킹 방식의 BertForMaskedLM 모델을 바로 적용할 수 있습니다. 4가지의 예제 단어를 라벨로 하여 각각 모델의 예측값(얼마나 정확한지를 나타내는 loss)를 얻습니다. 그리고 손실오차가 가장 작은 단어를 정답으로 판단합니다.

 

앞으로 딥러닝 자연어처리를 기반으로 한 재미있는 프로젝트들이 더 많아질 것 같습니다.

List of Articles
제목 글쓴이 날짜 조회 수sort
ChatGPT로 폴 그레이엄 에세이 검색해서 대답 file 깊은바다 2023-03-03 355
ChatGPT plugin와 Autonomous Agent, 그리고 새로운 패러다임의 시작 깊은바다 2023-06-27 356
구글 제미나이 2.0의 감성대화 능력 우종하 2025-02-07 358
테드 창, ChatGPT는 엄청나게 효율이 높은 손실 압축임 깊은바다 2023-02-13 361
페이지링크와 ChatGPT 대화를 동시에 지원하는 검색엔진 - You.com 깊은바다 2022-12-27 365
세콰이어캐피탈에서 전망하는 LLM의 미래 깊은바다 2023-06-19 366
Gluon으로구현해보는 한영기계번역 모형 깊은바다 2018-04-13 367
FSM과 생성 에이전트의 차이점 깊은바다 2023-11-22 368
생성 에이전트를 ChatGPT 프롬프트만으로 구현 file 깊은바다 2023-04-20 369
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 378
오픈소스 LLM이 ChatGPT를 대체할 수 있을 깊은바다 2023-05-05 381
OpenAI의 o1, IQ 테스트에서 인간의 평균을 훨씬 뛰어넘음 file 깊은바다 2024-09-16 381
ChatGPT, 타임지 표지 장식 깊은바다 2023-02-17 382
사진을 인식할 수 있는 ChatGPT 멀티모달 버전 공개 file 깊은바다 2023-09-26 393
생성 에이전트의 자율성이 AGI의 핵심 요소 file 깊은바다 2023-06-25 405