레플리
글 수 72

APEACH – 혐오 발화 평가데이터를 만드는 새로운 방법

조회 수 1103 추천 수 0 2022.04.22 12:47:12
깊은바다 *.68.249.160


 

https://tech.kakao.com/2022/04/14/apeach/

 

 

 

최근 초거대모델이나 일상대화 챗봇 같은 언어기반의 인공지능이 큰 주목을 받고 있습니다. 그러나 욕설이나 편향, 혐오표현을 어떻게 방지할 수 있을지가 가장 중요한 문제로 떠오르고 있습니다. 현재까지 공개된 대표적인 혐오표현 데이터셋은 다음과 같습니다.

 

< korean-hate-speech(BEEP!) >

https://github.com/kocohub/korean-hate-speech

 

< APEACH >

https://github.com/jason9693/APEACH

 

< Korean UnSmile Dataset >

https://github.com/smilegate-ai/korean_unsmile_dataset

 

 

 

이 중 APEACH가 어떻게 데이터을 수집하고 레이블링 했는지 설명한 글입니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
파이썬으로 3줄 요약기 만들기 깊은바다 2018-01-19 10812
마르코프 체인을 사용한 자동 문장 생성 file 깊은바다 2017-04-05 8977
한국어 문장 분리기, KSS(Korean Sentence Splitter) 파이썬 포팅 file 깊은바다 2020-12-23 6170
한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 6086
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 5769
자바 형태소 분석기 open-korean-txt 깊은바다 2017-04-11 5435
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4742
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4725
한국어 전처리 기법 모음 깊은바다 2020-07-31 4539
빠르고 성능 좋은 형태소분석기 MeCab-Ko 깊은바다 2017-05-02 4422
문서에서 핵심 단어를 찾는 TF-IDF 알고리즘 file 깊은바다 2017-09-07 4258
한글 NLP with Python - KoNLPy 사용법 [2] 깊은바다 2017-12-08 4028
노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 3902
한글 자모 분리 및 합치기 파이썬 패키지 [1] 깊은바다 2020-03-03 3245
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3229
목록
쓰기