레플리
글 수 72

한국어 채팅 데이터로 머신러닝 하기

조회 수 6086 추천 수 0 2018.04.25 16:02:46


Word Embedding - Word2Vec
• 단어 정보를 이용하여 머신러닝을 하려면 단어를 vector로 변환해주어야 합니다.

• 이를 word embedding 또는 word representation이라고 합...

 

https://www.slideshare.net/hanseokjo5/little-big-data-1-94862151

 

 

 

스캐터랩은 카톡감정분석, 연애의 과학 등 모바일 앱을 개발하는 회사입니다. 카톡 대화내용을 분석하여 두 사람 사이의 감정이나 정보들을 알려주고 연애에 대해 조언을 하주는 서비스입니다.

 

여기서 어떻게 자연어처리를 했는지 설명하는 슬라이드입니다. 메신저 대화는 문법에 맞지 않은 문장이 많은데 이를 해결한 방법이 많은 참고가 될 것 같습니다.

 

 

 

현재 세계에서 한글 대화 데이터를 가장 많이 보유한 회사가 스캐터랩이 아닐까 생각합니다. 메신저 회사는 공개한 바에 따르면 대화 내용을 영구적으로 보관하지 않는다고 합니다.

 

머신러닝에 있어서 가장 중요한 것은 무엇보다 데이터입니다. 그만큼 앞으로 자연어분석에 있어 이 회사가 유리한 위치를 차지할 가능성이 높습니다. 최근에는 자연스러운 일상 대화를 제공하는 핑퐁이라는 챗봇 API를 공개했는데 앞으로 여러 챗봇에서 사용되지 않을까 싶습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
파이썬과 커뮤니티와 한국어 오픈데이터 - KoNLPy의 탄생배경 깊은바다 2019-11-11 942
검색을 통해 지식그래프를 바로 생성하는 알고리즘 file 깊은바다 2019-08-02 3052
NLTK 개발자들이 직접 쓴 자연어처리 책의 공개 버전 깊은바다 2019-07-02 1259
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4735
스마트 스피커에서의 음악 재생 발화 오류 교정 file 깊은바다 2019-03-28 407
한국어 MRC 연구를 위한 표준 데이터셋(KorQuAD) 소개 및 B2B를 위한 MRC 연구 사례 깊은바다 2019-03-10 967
메이템 가상비서 앱 자연어처리 모듈 개발 file [1] 깊은바다 2019-01-31 828
토론하는 인공지능 - IBM Project Debater file 깊은바다 2019-01-16 579
인공지능이 법률 문서를 검토한다면? 깊은바다 2019-01-09 795
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3228
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4724
자연어 관련 데이터셋 사이트 - AI 오픈 이노베이션 허브 file 깊은바다 2018-12-03 1451
네이버 검색과 개인화 깊은바다 2018-11-20 619
NUGU Knowledge Base - 지식베이스 깊은바다 2018-11-10 1031
텍스트 분석을 자동으로 해주는 서비스 - KoALA 깊은바다 2018-10-31 2087