레플리
글 수 281

욕설을 찾는 BERT 모델 - Purifier

조회 수 3234 추천 수 0 2019.08.28 02:54:11


ap_graph

 

https://github.com/teammatmul/project-purifier

 

 

 

BERT로 욕설을 판단하는 모델입니다. 웹사이트에서 바로 테스트 해보실 수 있습니다. 띄어쓰기를 하지 않거나 중간에 기호가 삽입되면 약간 정확도가 떨어집니다. 그 외에는 상당히 잘 찾아냅니다.

 

욕설의 위치를 마스킹하는 기능도 추가되었습니다. 데이터셋은 단지 '욕설/정상'으로만 라벨이 달려있습니다. 설명에는 puri attention layer를 사용하여 욕설인 토큰을 찾는다고 합니다.

 

무엇보다 크롤링한 10만개의 문장들에 일일이 라벨을 달았다는게 대단합니다. 게다나 욕설을 읽는 스트레스까지 포함하면 고생이 상당했을 텐데요^^; 모델을 구현하는 능력도 중요하지만, 데이터 수집하고 정제하는 노력도 필수적인 것 같습니다.

 

 

 

< 테스트 사이트 >

-> http://www.matmul.net/purifier

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
와튼스쿨 에단 몰릭 교수의 Bing 사용 후기 깊은바다 2023-02-19 134
MS 직원의 GPT 기반 콜센터 챗봇 사용기 깊은바다 2023-02-18 157
구글의 초거대AI LaMDA, 과연 의식을 가지고 있을까 깊은바다 2023-02-17 106
ChatGPT와 대화 인공지능의 미래 깊은바다 2023-02-17 123
하이퍼클로바 기반의 심리상담 챗봇 개발 경험 깊은바다 2023-02-17 230
ChatGPT 프롬프트 엔지니어링 - 다양한 말투로 대답하기 file 깊은바다 2023-02-17 779
ChatGPT, 타임지 표지 장식 깊은바다 2023-02-17 245
ChatGPT의 3가지 핵심 특징 깊은바다 2023-02-16 156
ChatGPT가 Stack Overflow를 대체할까 깊은바다 2023-02-16 104
테드 창, ChatGPT는 엄청나게 효율이 높은 손실 압축임 깊은바다 2023-02-13 234
MS의 목적은 ChatGPT로 구글이 장악한 검색시장 자체를 무너뜨리는 것 깊은바다 2023-02-11 119
ChatGPT와 통합된 Bing 사용후기 영상 깊은바다 2023-02-10 165
MS, Bing과 Edge에 ChatGPT 통합 file 깊은바다 2023-02-08 153
구글, ChatGPT의 라이벌인 Bard 공개 file 깊은바다 2023-02-07 147
네이버의 생성AI는 챗GPT가 안 부럽다 - 심층 인터뷰 기사 깊은바다 2023-02-03 204