https://venturebeat.com/2021/01/06/ai-models-from-microsoft-and-google-already-surpass-human-performance-on-the-superglue-language-benchmark/amp/

GLUE는 가장 유명한 자연어처리 벤치마크입니다. 여러개의 언어관련 문제들을 합하여 점수를 계산합니다. 하지만 BERT의 출현 이후로 인공지능이 사람의 베이스라인을 능가하기 시작했습니다. 그래서 2019년에 페이스북, 딥마인드, 뉴욕대, 워싱턴대가 참여하여 SuperGLUE를 새로 만들었습니다.

얼마 전 MS의 DeBERTa와 구글의 T5 + Meena가 SuperGLUE 마저 인간을 앞섰다고 합니다. 아직 새로운 벤치마크가 등장하려면 시간이 걸릴 듯 합니다. 요즘 자연어처리 기술이 정말 빠르게 발전하네요.