https://yale-lily.github.io/spider

보통 목적지향 챗봇은 먼저 문장에서 의도와 개체를 추출합니다. 그리고 각 의도에 맞는 함수를 코드로 구현합니다. 파라미터로 받은 개체 정보를 사용해서 API를 호출하거나 DB와 연동하는 등 적절한 동작을 수행합니다. 만약 딥러닝을 통해 End2End 방식으로 만들려면, 그 과정을 사람이 프로그래밍하지 않고 자동화할 필요가 있습니다.

예일대에서 공개한 Spider는 자연어-SQL 데이터셋입니다. 텍스트로 질문을 하면 거기에 맞는 SQL을 보여줍니다. 리더보드도 운영하고 있는데, 지금은 BERT 계열이 상위권을 차지하고 있습니다. 과연 이런 노력이 End2End 목적지향 챗봇으로 이어질 수 있을까요. 당분간은 쉽지 않은 길인 것 같습니다.