글 수 180

욕설을 찾는 BERT 모델 - Purifier

조회 수 2277 추천 수 0 2019.08.28 02:54:11


ap_graph

 

https://github.com/teammatmul/project-purifier

 

 

 

BERT로 욕설을 판단하는 모델입니다. 웹사이트에서 바로 테스트 해보실 수 있습니다. 띄어쓰기를 하지 않거나 중간에 기호가 삽입되면 약간 정확도가 떨어집니다. 그 외에는 상당히 잘 찾아냅니다.

 

욕설의 위치를 마스킹하는 기능도 추가되었습니다. 데이터셋은 단지 '욕설/정상'으로만 라벨이 달려있습니다. 설명에는 puri attention layer를 사용하여 욕설인 토큰을 찾는다고 합니다.

 

무엇보다 크롤링한 10만개의 문장들에 일일이 라벨을 달았다는게 대단합니다. 게다나 욕설을 읽는 스트레스까지 포함하면 고생이 상당했을 텐데요^^; 모델을 구현하는 능력도 중요하지만, 데이터 수집하고 정제하는 노력도 필수적인 것 같습니다.

 

 

 

< 테스트 사이트 >

-> http://www.matmul.net/purifier

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
페르소나에 따라 대화를 하는 딥러닝 챗봇 by Hugging Face 깊은바다 2020-03-06 585
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 439
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5104
구글의 일상대화 딥러닝 모델 - Meena file 깊은바다 2020-01-30 1388
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 1278
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 583
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 363
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 3885
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 649
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 538
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 1627
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 502
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 1508
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 1104
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 2277