레플리
글 수 72


K-001.png

 

https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=103&oid=014&aid=0004482548

 

 

 

"국립국어원은 인공지능의 한국어 처리 능력 향상에 필수적인 한국어 학습 자료 13종 18억 어절 분량을 25일 국립국어원 '모두의 말뭉치' 사이트에서 공개한다고 밝혔다."

 

"문화체육관광부와 국립국어원은 1998년에서 2007년까지 '21세기 세종계획'을 추진해 약 2억 어절의 자료를 구축, 공개한 바 있다. 10여 년이 지난 뒤 이번에 다시 공개하는 자료는 예전보다 9배 많은 것으로 그동안 공개된 학습 자료의 부족으로 곤란을 겪던 한국어 처리 기술이 든든한 지원군을 만날 수 있게 되었다."

 

 

 

그동안 한국어는 보통 세종 말뭉치를 사용했습니다. 이번에 9배나 더 큰 규모의 새로운 말뭉치가 공개됐습니다. 특히 메신저 대화, 웹 자료 등 구어체 텍스트가 많은게 특징입니다. 아래 사이트에서 신청 후 받으실 수 있습니다.

 

 

 

< 모두의 말뭉치 >
https://corpus.korean.go.kr/

 

List of Articles
제목 글쓴이 날짜 조회 수sort
파이썬으로 3줄 요약기 만들기 깊은바다 2018-01-19 10814
마르코프 체인을 사용한 자동 문장 생성 file 깊은바다 2017-04-05 8980
한국어 문장 분리기, KSS(Korean Sentence Splitter) 파이썬 포팅 file 깊은바다 2020-12-23 6176
한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 6086
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 5770
자바 형태소 분석기 open-korean-txt 깊은바다 2017-04-11 5436
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4744
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4725
한국어 전처리 기법 모음 깊은바다 2020-07-31 4539
빠르고 성능 좋은 형태소분석기 MeCab-Ko 깊은바다 2017-05-02 4422
문서에서 핵심 단어를 찾는 TF-IDF 알고리즘 file 깊은바다 2017-09-07 4258
한글 NLP with Python - KoNLPy 사용법 [2] 깊은바다 2017-12-08 4028
노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 3903
한글 자모 분리 및 합치기 파이썬 패키지 [1] 깊은바다 2020-03-03 3246
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3229