http://symbiote-ai.com/gpt

GPT2는 OpenAI에서 최근 발표한 딥러닝 모델로, 글을 생성하는데 특화되어 있습니다. 예전부터 n-gram 같이 확률기반의 언어모델이 있었습니다. 이를 딥러닝으로 학습하면서 글의 품질이 훨씬 높아지고 있습니다.

언어모델은 입력으로 들어온 문장을 통해 다음 글자를 예측합니다. GPT2는 Byte Pair Encoding이란 방식을 쓰는데 기본적으로 단어가 아니라 캐릭터 단위입니다. 예를 들어, 다음과 같이 출력이 다시 입력으로 들어가면서 계속 반복하여 문장을 생성합니다.

동해물과 백두산 -> 이
해물과 백두산이 -> 마
물과 백두산이 마 -> 르

얼마 전 한글을 학습하여 기사를 쓰는 사이트가 공개되었습니다. 사용자가 직접 문장을 넣으면 거기에 맞는 글을 써주기도 합니다. 물론 OpenAI에서 만든 GPT2는 아닙니다. 악용될 소지가 있기 때문에 소스코드도 공개되지 않았고, 논문에서도 구현방법에 대해서 자세히 설명하고 있지 않기 때문입니다.

저도 테스트를 해봤는데 진짜 GPT2와 달리 아직 부족한 점이 많습니다. 스크린샷에서는 "스파이더맨과 아이언맨의 열애설이 크게 화제를 모은다는 것을 알고 있다"처럼 입력한 정보가 반영된 문장이 나옵니다. 하지만 스파이더맨과 배트맨으로 입력의 단어를 바꾸면 기사를 그대로 오려붙인 것 같은 대답만 합니다. 아마 학습 데이터에 스파이더맨과 아이언맨 열애설에 대한 기사가 있던게 아닐까 싶습니다.

하지만 GPT2와 비슷한, 아니 그것을 훨씬 능가하는 모델이 곧 대중화될 것이라 생각합니다. 앞으로 다양한 곳에서 유용하게 활용될 것이 분명합니다. 페이크 뉴스 같은 부작용에 대비를 해야겠지만 기술의 발전을 막을 수는 없으니까요.