https://tech.kakao.com/2022/04/14/apeach/

최근 초거대모델이나 일상대화 챗봇 같은 언어기반의 인공지능이 큰 주목을 받고 있습니다. 그러나 욕설이나 편향, 혐오표현을 어떻게 방지할 수 있을지가 가장 중요한 문제로 떠오르고 있습니다. 현재까지 공개된 대표적인 혐오표현 데이터셋은 다음과 같습니다.

< korean-hate-speech(BEEP!) >

https://github.com/kocohub/korean-hate-speech

< APEACH >

https://github.com/jason9693/APEACH

< Korean UnSmile Dataset >

https://github.com/smilegate-ai/korean_unsmile_dataset

이 중 APEACH가 어떻게 데이터을 수집하고 레이블링 했는지 설명한 글입니다.

https://somjang.tistory.com/entry/Windows-%EC%97%90%EC%84%9C-Mecab-mecab-%EA%B8%B0%EB%B0%98-%ED%95%9C%EA%B5%AD%EC%96%B4-%ED%98%95%ED%83%9C%EC%86%8C-%EB%B6%84%EC%84%9D%EA%B8%B0-%EC%84%A4%EC%B9%98%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95

예전에 윈도우에서 Mecab 설치하기가 상당히 까다로왔던 기억이 있는데요. 이번에 다시 쓸 일이 있어서 찾아봤는데 pip로 바로 설치가 되네요. 덕분에 편리하게 사용하고 있습니다.

https://www.facebook.com/groups/ChatbotDevKR/permalink/1220443531707107

몇 년전 LG CNS가 KorQuAD를 공개했습니다. 기계독해(MRC)를 위한 데이터셋인 SQuAD의 한글버전입니다. 이번에는 GLUE 같이 여러 데이터셋을 하나로 모은 KLUE가 나왔습니다. 인공지능 업계의 다양한 분들이 같이 모여서 작업한 결과입니다. 이런 프로젝트가 가능한 것만 봐도 한국의 AI 역량이 절대 뒤떨어지지 않다고 생각합니다. 앞으로도 KLUE2, KLUE3 등 꾸준히 이어지면 좋겠습니다.

https://corpus.korean.go.kr/

올해 1월 모두의 말뭉치에서 메신저 대화가 일시적으로 삭제되었습니다. 부적절한 대화가 포함되어 있어 검수한 뒤에 다시 공개한다고 했습니다. 대신 새로운 일상 대화가 얼마 전 추가됐습니다. 총 2,232건, 압축용량 32MB의 분량입니다. 메신저 대화도 빨리 나왔으면 좋겠네요.

https://venturebeat.com/2021/01/06/ai-models-from-microsoft-and-google-already-surpass-human-performance-on-the-superglue-language-benchmark/amp/

GLUE는 가장 유명한 자연어처리 벤치마크입니다. 여러개의 언어관련 문제들을 합하여 점수를 계산합니다. 하지만 BERT의 출현 이후로 인공지능이 사람의 베이스라인을 능가하기 시작했습니다. 그래서 2019년에 페이스북, 딥마인드, 뉴욕대, 워싱턴대가 참여하여 SuperGLUE를 새로 만들었습니다.

얼마 전 MS의 DeBERTa와 구글의 T5 + Meena가 SuperGLUE 마저 인간을 앞섰다고 합니다. 아직 새로운 벤치마크가 등장하려면 시간이 걸릴 듯 합니다. 요즘 자연어처리 기술이 정말 빠르게 발전하네요.

https://github.com/hyunwoongko/kss

한국어 문장 분리기인 KSS가 파이썬으로 포팅되었습니다. 덕분에 사용하기가 더 편해졌습니다. 요즘 유용한 한글 자연어처리 도구들이 많아지고 있어서 다행입니다.

https://github.com/ko-nlp/Korpora

파이썬에서는 KoNLPy 덕분에 형태소분석이 매우 편해졌습니다. Korpora는 이와 비슷하게 한국어 말뭉치들을 쉽게 쓸 수 있게 해주는 패키지입니다. 유명한 네이버 영화리뷰에서부터 챗봇 데이터, 네이버 댓글, 한국어 혐오 데이터, 나무위키 등 다양한 한국어 말뭉치들이 포함되어 있습니다. 파일을 로드하고 가공할 필요가 없기 때문에 바로 사용하실 수 있습니다. 앞으로 국내에서 대표적인 자연어처리 패키지가 되기를 기대합니다.

https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=103&oid=014&aid=0004482548

"국립국어원은 인공지능의 한국어 처리 능력 향상에 필수적인 한국어 학습 자료 13종 18억 어절 분량을 25일 국립국어원 '모두의 말뭉치' 사이트에서 공개한다고 밝혔다."

"문화체육관광부와 국립국어원은 1998년에서 2007년까지 '21세기 세종계획'을 추진해 약 2억 어절의 자료를 구축, 공개한 바 있다. 10여 년이 지난 뒤 이번에 다시 공개하는 자료는 예전보다 9배 많은 것으로 그동안 공개된 학습 자료의 부족으로 곤란을 겪던 한국어 처리 기술이 든든한 지원군을 만날 수 있게 되었다."

그동안 한국어는 보통 세종 말뭉치를 사용했습니다. 이번에 9배나 더 큰 규모의 새로운 말뭉치가 공개됐습니다. 특히 메신저 대화, 웹 자료 등 구어체 텍스트가 많은게 특징입니다. 아래 사이트에서 신청 후 받으실 수 있습니다.

< 모두의 말뭉치 >
- https://corpus.korean.go.kr/

https://colab.research.google.com/drive/1FfhWsP9izQcuVl06P30r5cCxELA1ciVE?usp=sharing

영어 전처리는 자연어처리 책에 많이 나오는 편입니다. 하지만 한글은 찾아보기가 어려운데요. 문장 분리, 띄어쓰기, 맞춤법, 외래어, 형태소분석, 스테밍 등 유용한 기법들이 정리되어 있습니다. 필요할 때마다 참고하기 좋을 듯 합니다.

https://yale-lily.github.io/spider

보통 목적지향 챗봇은 먼저 문장에서 의도와 개체를 추출합니다. 그리고 각 의도에 맞는 함수를 코드로 구현합니다. 파라미터로 받은 개체 정보를 사용해서 API를 호출하거나 DB와 연동하는 등 적절한 동작을 수행합니다. 만약 딥러닝을 통해 End2End 방식으로 만들려면, 그 과정을 사람이 프로그래밍하지 않고 자동화할 필요가 있습니다.

예일대에서 공개한 Spider는 자연어-SQL 데이터셋입니다. 텍스트로 질문을 하면 거기에 맞는 SQL을 보여줍니다. 리더보드도 운영하고 있는데, 지금은 BERT 계열이 상위권을 차지하고 있습니다. 과연 이런 노력이 End2End 목적지향 챗봇으로 이어질 수 있을까요. 당분간은 쉽지 않은 길인 것 같습니다.

지금까지 인간과 인공지능 간에 벌어진 역사적인 승부가 3번 있었습니다. 1997년 딥블루와 가리 카스파로프의 체스대결, 2011년 왓슨과 제퍼디 챔피언과의 퀴즈대결, 2016년 알파고와 이세돌의 바둑대결입니다. 각각 룰베이스, 머신러닝, 딥러닝이 사용되면서 인공지능의 발전과정을 보여주고 있습니다. 그중 왓슨의 동작방식을 간단하게 정리한 영상을 소개해드립니다.

https://jiho-ml.com/tag/weekly-nlp/

자연어처리에 관한 글들을 매주 올리는 블로그입니다. 꼭 이메일로 구독하지 않아도, 사이트를 방문해서 보실 수도 있습니다. 일주일마다 한 편씩 작성하는게 대단하네요. 꾸준히 발전하길 기대해봅니다.

https://blog.lgcns.com/1680?category=515093

자연어처리의 종류에 대해서 정리한 글입니다. 감정분석, 의도분류, 기계번역, 문서요약, 기계독해 등을 간략하게 설명하고 있습니다.

https://github.com/kaniblu/hangul-utils

한글 자연어처리를 하다보면 글자를 자모로 변환할 필요가 있습니다. 반대로 자모를 합쳐서 글자를 만들기도 합니다. 이런 과정을 파이썬으로 쉽게 할 수 있는 패키지입니다.

다만 mecab이 설치되어 있지 않으면 인스톨 시 에러가 발생합니다. 자모 함수만 사용하려면 'hangul_utils/unicode.py' 파일만 별도로 가져오시면 됩니다.

최근 인공지능을 쉽게 활용해볼 수 있는 사이트가 생기고 있는데요. 대표적으로 구글의 Teachable Machine(https://teachablemachine.withgoogle.com)을 들 수 있습니다. 그와 비슷한 Machine Learning for Kids(https://machinelearningforkids.co.uk)로 감정분석을 해보는 영상입니다.

먼저 긍정과 부정의 클래스를 만듭니다. 그리고 각 클래스에 감성사전에 있는 단어들을 입력합니다. 학습이 끝나면 스크래치나 파이썬으로 모델을 호출하여 사용이 가능합니다. 인공지능을 처음 접하는 학생들에게 좋은 도구가 될 것 같습니다.