https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=110&oid=028&aid=0002484723

"인공지능 자연어 처리 시스템(NLP)을 손쉽게 무력화시킬 수 있는 소프트웨어가 개발됐다. 문장의 단어 하나를 동의어로 대체할 경우 사람은 동일한 의미로 읽어내지만 인공지능은 전혀 다른 의미로 파악하게 하는, 일종의 인공지능 무력화 방법이다."

"사람이 알아 차리는 방식에는 거의 동일한 것으로 보이지만, 기계인식에는 둘을 완전히 다른 것으로 처리되는 이 구조를 인공지능의 ‘적대적 사례(adversarial examples)’라고 부른다. 그동안 인공지능의 적대적 사례가 주로 시각 이미지를 대상으로 연구되어왔는데 ‘텍스트풀러’는 자연어 처리 시스템에서도 거의 유사한 방식으로 문제가 발생함을 밝혀낸 연구다."

텍스트에서도 적대적 사례가 있다는 것을 보여주는 연구입니다. 사실 이런 현상이 발생하는 이유는 우선 데이터가 부족하기 때문입니다. 잘 안쓰는 단어나 문장은 그만큼 학습할 가능성이 떨어집니다.

반면에 사람은 높은 차원에서 추상화를 할 수 있습니다. 조금 변형된 사진이나 문장을 보면 처음에는 이해하기가 어렵습니다. 하지만 추론을 통해 곧 원래의 의미를 파악합니다. 앞으로 딥러닝도 이런 추상화가 필요할 듯 합니다.