레플리
글 수 72


K-001.png

 

https://songys.github.io/2019LangCon/data/smartspeaker2.pdf?fbclid=IwAR0ZkXX0O93yA3bWgmILk3fxIm8U33e-qLhtXX3tOWNqTKfh7VsHK2cJQsE

 

 

 

카카오미니에서 음성인식으로 변환한 텍스트의 오류를 어떻게 교정하는지 설명한 자료입니다. 예를 들어, '트와이스의 wild love 틀어줘'라고 인식했다면 '가수명->트와이스', '곡명->wild love'라고 엔티티를 추출합니다. 하지만 실제 곡명인 'what is love'로 수정해야 정확한 음악을 들려줄 수 있습니다.

 

이를 위해 먼저 전체, 가수명, 곡명에 따라 모든 데이터와 비교하여 총 16개의 유사도를 구합니다. 여기서 단순히 16개 유사도의 합이 가장 높은 곡을 선택하면 안됩니다. 각 유사도마다 가중치를 조절해야 하기 때문입니다.

 

바로 여기에서 학습이 사용됩니다. 16개의 유사도가 입력으로 들어가고 '교정/비교정'으로 출력이 나옵니다. 사람이 직접 라벨을 달은 데이터를 기반으로 랜덤 포레스트 모델로 학습을 했다고 합니다. 이진 출력이 확률로 나오기 때문에 아마 가장 높은 출력값이 나온 것을 정답으로 선택하지 않았을까 합니다.

 

 

 

< 엔티티 추출 >
트와이스 / wild love

 

< 오류 교정 >
트와이스 / what is love -> 0.8 (정답!)
트와이스 / I love you baby -> 0.6
아이유 / love attack -> 0.4

List of Articles
제목 글쓴이 날짜 조회 수sort
파이썬으로 3줄 요약기 만들기 깊은바다 2018-01-19 10812
마르코프 체인을 사용한 자동 문장 생성 file 깊은바다 2017-04-05 8977
한국어 문장 분리기, KSS(Korean Sentence Splitter) 파이썬 포팅 file 깊은바다 2020-12-23 6168
한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 6086
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 5769
자바 형태소 분석기 open-korean-txt 깊은바다 2017-04-11 5435
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4742
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4725
한국어 전처리 기법 모음 깊은바다 2020-07-31 4539
빠르고 성능 좋은 형태소분석기 MeCab-Ko 깊은바다 2017-05-02 4422
문서에서 핵심 단어를 찾는 TF-IDF 알고리즘 file 깊은바다 2017-09-07 4257
한글 NLP with Python - KoNLPy 사용법 [2] 깊은바다 2017-12-08 4028
노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 3902
한글 자모 분리 및 합치기 파이썬 패키지 [1] 깊은바다 2020-03-03 3245
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3229