레플리
글 수 283

욕설을 찾는 BERT 모델 - Purifier

조회 수 3269 추천 수 0 2019.08.28 02:54:11
깊은바다 *.68.247.186


ap_graph

 

https://github.com/teammatmul/project-purifier

 

 

 

BERT로 욕설을 판단하는 모델입니다. 웹사이트에서 바로 테스트 해보실 수 있습니다. 띄어쓰기를 하지 않거나 중간에 기호가 삽입되면 약간 정확도가 떨어집니다. 그 외에는 상당히 잘 찾아냅니다.

 

욕설의 위치를 마스킹하는 기능도 추가되었습니다. 데이터셋은 단지 '욕설/정상'으로만 라벨이 달려있습니다. 설명에는 puri attention layer를 사용하여 욕설인 토큰을 찾는다고 합니다.

 

무엇보다 크롤링한 10만개의 문장들에 일일이 라벨을 달았다는게 대단합니다. 게다나 욕설을 읽는 스트레스까지 포함하면 고생이 상당했을 텐데요^^; 모델을 구현하는 능력도 중요하지만, 데이터 수집하고 정제하는 노력도 필수적인 것 같습니다.

 

 

 

< 테스트 사이트 >

-> http://www.matmul.net/purifier

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
KoGPT2 v2.0 공개 깊은바다 2021-05-03 1589
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 1582
KoNLPy를 이용하여 Huggingface Transformers 학습하기 깊은바다 2020-09-20 1573
Java에서 Word2vec 사용하기 깊은바다 2018-05-05 1565
글쓰는 법을 배우는 신경망 깊은바다 2016-03-25 1539
딥러닝 자연어처리 라이브러리 - Pororo file 깊은바다 2021-02-03 1529
일상대화 챗봇 레플리카(Replika)의 구현 방식 file 깊은바다 2020-12-22 1509
딥러닝으로 미소녀 챗봇 만들기 깊은바다 2018-06-01 1498
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 1474
GPT-3로 NPC와 대화를 할 수 있는 게임 시뮬레이터 깊은바다 2021-02-22 1463
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 1461
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1447
GPT가 스스로 계획을 세워서 실행한다면 - AutoGPT와 LangChain file 깊은바다 2023-04-18 1447
문장을 사진으로 변환하는 StackGAN [1] 깊은바다 2018-09-17 1435
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 1429
목록
쓰기