글 수 208
https://jiho-ml.com/weekly-nlp-40/
요즘 딥러닝에서 멀티모달 모델이 관심을 받고 있습니다. 기존에는 이미지 모델, 자연어처리 모델, 음성 모델 등이 별도로 존재했습니다. 반면에 멀티 모달은 다양한 형태의 데이터를 동시에 고려합니다.
OpenAI가 발표한 DALL-E가 대표적입니다. 문장을 입력하면 거기에 맞는 이미지를 생성해냅니다. GPT-3와 같은 구조이지만 텍스트와 이미지를 동시에 처리한다는 차이가 있습니다. 좀 더 자세한 사항은 링크의 글을 참고 바랍니다.