레플리
글 수 281

LLM의 시대에도 자연어처리를 배워야할까

조회 수 311 추천 수 0 2023.05.29 01:32:01


지난 주 금융연수원에서 5일 코스의 자연어처리 강의를 했습니다. 올해로 3년째인데요. 작년 및 재작년과의 가장 큰 차이점은 역시 ChatGPT였습니다. 각 주제를 다룰 때마다 이 작업을 ChatGPT로도 할 수 있음을 보여줬습니다.

 

예를 들어, 개체명인식은 챗봇을 만드는데 가장 중요한 기능 중 하나입니다. 문장에서 핵심적인 항목을 뽑아내는 기법입니다. 보통 BIO 태그를 사용하는데, 각 토큰들이 어느 태그에 속하는지 분류합니다.

 

버락(B-사람) 오바마(B-I) 는(O) 44대(B-숫자) 미국(B-국가) 대통령(O) 이다(O)

 

B(Begin)는 개체의 시작, I(Inside)는 이어지는 개체, O(Outside)는 개체가 아닌 것을 나타냅니다. 보통 LSTM이나 BERT 같은 모델을 주로 사용하는데, BIO가 태깅된 데이터셋을 학습합니다. 하지만 ChatGPT에게 '다음 문장을 BIO 태그로 만들어줘'라고만 해도 매우 정확하게 정답을 생성합니다.

 

 

 

아직은 개체명인식에 ChatGPT 보다는 BERT를 쓰는데 좋습니다. 속도나 비용면에서 더 유리하고 정확도 역시 나쁘지 않습니다. 그러나 앞으로 LLM의 성능이 훨씬 높아지고 가격이 충분히 낮아진다면 그때는 어떨까요. 자연어처리의 대부분의 기능들이 개별적인 모델보다는 LLM 하나로 통일될 가능성이 높습니다. 어쩌면 개체명인식 자체가 사라진 기술이 될 수도 있죠.

 

그렇다면 자연어처리를 공부하는게 어떤 의미가 있을지 의문이 듭니다. 논문을 쓰거나 LLM을 직접 개발하는 사람들을 제외하고는 굳이 힘들게 배울 필요가 없습니다. 물론 이론적인 지식이 있다면 LLM을 적용하는데 더 유리하긴 합니다. 자료구조나 알고리즘을 배운 프로그래머처럼요. 아무튼 요즘 이런저런 생각이 많아지는 시기입니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 46
MS의 CTO인 Kevin Scott과 OpenAI와의 협업 깊은바다 2023-03-17 81
ChatGPT 2달만에 누적 사용자 1억명 돌파 깊은바다 2023-02-03 88
ChatGPT iOS 버전 출시 file 깊은바다 2023-05-19 97
ChatGPT가 Stack Overflow를 대체할까 깊은바다 2023-02-16 104
구글의 초거대AI LaMDA, 과연 의식을 가지고 있을까 깊은바다 2023-02-17 106
MS의 목적은 ChatGPT로 구글이 장악한 검색시장 자체를 무너뜨리는 것 깊은바다 2023-02-11 119
ChatGPT와 대화 인공지능의 미래 깊은바다 2023-02-17 123
와튼스쿨 에단 몰릭 교수의 Bing 사용 후기 깊은바다 2023-02-19 134
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 145
딥마인드의 데미스 하사비스, AGI는 신중한 접근 필요 깊은바다 2023-03-22 146
구글, ChatGPT의 라이벌인 Bard 공개 file 깊은바다 2023-02-07 147
GPT-4가 내 여자친구보다 나를 더 잘 알까? file 깊은바다 2023-12-12 147
MS, Bing과 Edge에 ChatGPT 통합 file 깊은바다 2023-02-08 153
ChatGPT의 3가지 핵심 특징 깊은바다 2023-02-16 157