https://github.com/deepseasw/nlp_model_list

강의자료로 만들었는데 혹시 도움이 될지도 몰라 공개합니다. BERT와 GPT-2부터 최근까지 사전훈련 모델들을 정리했습니다. Github에 있는 pdf 파일을 열어보시면 됩니다. 앞으로 꾸준히 업데이트를 할 예정입니다.

• 2018/11
  BERT (구글)
   

• 2019/02
  GPT-2 (OpenAI)
   

• 2019/07
  RoBERTa (메타)
   

• 2019/10
  BART (메타)
  KoBERT (SKT)
   

• 2019/12
  ALBERT (구글)
   

• 2020/01
  Meena (구글)
   

• 2020/03
  ELECTRA (구글)
   

• 2020/04
  KoELECTRA (박장원)
  KoGPT-2 (SKT)
   

• 2020/05
  GPT-3 (OpenAI)
  BlenderBot (메타)
   

• 2020/07
  KcBERT (이준범)
   

• 2020/12
  KoBART (SKT)
   

• 2021/01
  DALL·E (OpenAI)
  CLIP (OpenAI)
   

• 2021/04
  KoELECTRA (이준범)
   

• 2021/05
  LaMDA (구글)
  하이퍼클로바 (네이버)
   

• 2021/07
  BlenderBot 2.0 (메타)
   

• 2021/09
  TUNiB-Electra (튜닙)
   

• 2021/10
  KLUE-BERT (KLUE)
  KLUE-RoBERTa (KLUE)
   

• 2021/11
  KoGPT (카카오)
   

• 2021/12
  minDALL-E (카카오)
  엑사원 (LG)
  Gopher (딥마인드)
  RETRO (딥마인드)
   

• 2022/01
  InstructGPT (OpenAI)
   

• 2022/02
  AlphaCode (딥마인드)
   

• 2022/04
  DALL·E 2 (OpenAI)
  Chinchilla (딥마인드)
  Flamingo (딥마인드)
  PaLM (구글)
   

• 2022/05
  Imagen (구글)
  Gato (딥마인드)
  Parti (구글)
  에이닷 (SKT)
  CogVideo (칭화대)