레플리
글 수 283

욕설을 찾는 BERT 모델 - Purifier

조회 수 3267 추천 수 0 2019.08.28 02:54:11
깊은바다 *.68.247.186


ap_graph

 

https://github.com/teammatmul/project-purifier

 

 

 

BERT로 욕설을 판단하는 모델입니다. 웹사이트에서 바로 테스트 해보실 수 있습니다. 띄어쓰기를 하지 않거나 중간에 기호가 삽입되면 약간 정확도가 떨어집니다. 그 외에는 상당히 잘 찾아냅니다.

 

욕설의 위치를 마스킹하는 기능도 추가되었습니다. 데이터셋은 단지 '욕설/정상'으로만 라벨이 달려있습니다. 설명에는 puri attention layer를 사용하여 욕설인 토큰을 찾는다고 합니다.

 

무엇보다 크롤링한 10만개의 문장들에 일일이 라벨을 달았다는게 대단합니다. 게다나 욕설을 읽는 스트레스까지 포함하면 고생이 상당했을 텐데요^^; 모델을 구현하는 능력도 중요하지만, 데이터 수집하고 정제하는 노력도 필수적인 것 같습니다.

 

 

 

< 테스트 사이트 >

-> http://www.matmul.net/purifier

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
부적절한 문장을 판단해주는 딥러닝 모델 - Ask Delphi file 깊은바다 2021-11-08 399
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 404
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 413
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 423
Together가 공개한 오픈소스 LLM - OpenChatKit 깊은바다 2023-03-12 425
텍스트 스타일을 바꾸는 딥러닝 기술 깊은바다 2021-06-01 436
Poe에 추가된 업스테이지의 LLM, Solar-70b file 깊은바다 2023-09-18 440
ChatGPT API 정식 공개 file 깊은바다 2023-03-02 454
MS의 딥러닝 대화 모델 - DialoGPT file 깊은바다 2020-04-24 456
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 459
딥러닝 상식추론 모델- COMET file 깊은바다 2020-05-04 465
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 465
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 469
아마존, End-to-End 딥러닝 기술을 고객서비스에 챗봇에 적용 깊은바다 2020-03-17 472
GPT-2를 사용한 텍스트 압축 기법 file 깊은바다 2021-02-19 473
목록
쓰기