글 수 208
https://arxiv.org/abs/2108.07258
스탠포드대에서 공개한 논문인데 매우 공감이 가네요. 최근 딥러닝이, 특히 자연어처리 분야에서 사전훈련 모델의 중요성이 커지고 있습니다. 대표적으로 BERT와 GPT3가 있습니다. 앞으로 딥러닝이 이렇게 통합되고 범용적인 모델로 발전할 거라고 주장합니다. 이를 위해 'Foundation Models'란 새로운 용어를 제시했습니다. 제 느낌에는 조만간 이 말이 새로운 화두로 떠오르지 않을까 생각됩니다.