GPT-4o의 토크나이저는 20만개의 토큰으로 구성되어 있습니다. 이는 이전 GPT-4와 GPT-3.5의 10만개에서 2배 증가한 수치입니다. 토큰 개수가 많으면 같은 문장이라도 잘게 쪼개지 않고 더 길이가 긴 토큰들로 분리할 수 있습니다.

예를 들어, '안녕하세요'를 이전에는 '안, 녕, 하, 세, 요'로 5개 토큰으로 나누었다고 가정해보겠습니다. 지금은 '안녕, 하세, 요' 3개 토큰으로 더 줄일 수 있습니다. 덕분에 한글 문장을 처리할 때 1.7배 적은 토큰이 소모됩니다. 그 말은 속도와 비용 역시 같은 비율로 감소된다는 뜻입니다.

GPT-4o와 GPT-3.5-turbo, 클로바X의 가격을 비교해봤습니다.

< GPT-4o >

글자수 : 235

토큰수 : 154

토큰당 가격 : 0.0137원

전체 비용 : 2.1원

< GPT-3.5-turbo >

글자수 : 235

토큰수 : 250

토큰당 가격 : 0.00137원

전체 비용 : 0.34원

< 클로바X >

글자수 : 235

토큰수 : 108

토큰당 가격 : 0.005원

전체 비용 : 0.54원

GPT-4o와 GPT-3.5-turbo는 6배, GPT-4o와 클로바X는 4배 정도 차이가 납니다. 이번에 토크나이저가 변경되면서 한글을 사용하는데 가성비가 매우 좋아졌습니다. GPT-3.5-turbo도 다음 버전에서는 새로운 토큰나이저로 변경될까요. 그렇다면 지금보다 1.7배 정도 가격이 더 싸질 텐데요.

OpenAI가 무서운게 바로 이런 가격 경쟁력이라고 봅니다. 성능도 좋지만 모델 경량화 및 서빙 최적화 기술에서 다른 회사들을 크게 앞지르고 있습니다. LLM이 대중화 되려면 비용이 지금보다 훨씬 떨어져야 합니다. 아직 적자보면서 LLM을 적용하는 서비스가 대부분이니까요.