지난 주 금융연수원에서 5일 코스의 자연어처리 강의를 했습니다. 올해로 3년째인데요. 작년 및 재작년과의 가장 큰 차이점은 역시 ChatGPT였습니다. 각 주제를 다룰 때마다 이 작업을 ChatGPT로도 할 수 있음을 보여줬습니다.

예를 들어, 개체명인식은 챗봇을 만드는데 가장 중요한 기능 중 하나입니다. 문장에서 핵심적인 항목을 뽑아내는 기법입니다. 보통 BIO 태그를 사용하는데, 각 토큰들이 어느 태그에 속하는지 분류합니다.

버락(B-사람) 오바마(B-I) 는(O) 44대(B-숫자) 미국(B-국가) 대통령(O) 이다(O)

B(Begin)는 개체의 시작, I(Inside)는 이어지는 개체, O(Outside)는 개체가 아닌 것을 나타냅니다. 보통 LSTM이나 BERT 같은 모델을 주로 사용하는데, BIO가 태깅된 데이터셋을 학습합니다. 하지만 ChatGPT에게 '다음 문장을 BIO 태그로 만들어줘'라고만 해도 매우 정확하게 정답을 생성합니다.

아직은 개체명인식에 ChatGPT 보다는 BERT를 쓰는데 좋습니다. 속도나 비용면에서 더 유리하고 정확도 역시 나쁘지 않습니다. 그러나 앞으로 LLM의 성능이 훨씬 높아지고 가격이 충분히 낮아진다면 그때는 어떨까요. 자연어처리의 대부분의 기능들이 개별적인 모델보다는 LLM 하나로 통일될 가능성이 높습니다. 어쩌면 개체명인식 자체가 사라진 기술이 될 수도 있죠.

그렇다면 자연어처리를 공부하는게 어떤 의미가 있을지 의문이 듭니다. 논문을 쓰거나 LLM을 직접 개발하는 사람들을 제외하고는 굳이 힘들게 배울 필요가 없습니다. 물론 이론적인 지식이 있다면 LLM을 적용하는데 더 유리하긴 합니다. 자료구조나 알고리즘을 배운 프로그래머처럼요. 아무튼 요즘 이런저런 생각이 많아지는 시기입니다.