- AI Dev - 인공지능 개발자 모임
- 정보공유
- 자연어처리
SQuAD(Stanford Question Answering Dataset)는 자연어처리 데이터셋으로 '컨텍스트/질문/대답'으로 이루어져 있습니다. 컨텍스트와 질문이 하나의 입력으로 들어가면 컨텍스트에서 질문에 대한 대답을 찾아 출력하도록 학습합니다. 예를 들어, 다음과 같습니다.
< 컨텍스트 >
The region is home to about 2.5 million insect species, tens of thousands of plants, and some 2,000 birds and mammals. To date, at least 40,000 plant species, 2,200 fishes, 1,294 birds, 427 mammals, 428 amphibians, and 378 reptiles have been scientifically classified in the region. One in five of all the bird species in the world live in the rainforests of the Amazon, and one in five of the fish species live in Amazonian rivers and streams. Scientists have described between 96,660 and 128,843 invertebrate species in Brazil alone.
< 질문 / 대답 >
How many species of insects are known in the region?
-> 2.5 million
What portion of bird species make up the world's total live in the rainforest?
-> One in five
다만 영문이라 아쉬웠는데 얼마전 LG CNS에서 한글로 된 KorQuAD를 공개하였습니다. 형식은 SQuAD와 동일하고 위키피디아의 정보를 사용했습니다. 그동안 마땅한 한글 데이터셋이 없어 답답했던 분들에게 큰 도움이 될 듯 합니다.
그런데 파일을 열어보니 한글이 \ud1f4\uc5ed\ud55c 같은 바이트 스트링으로 되어 있습니다. 따로 프로그램에서 변환을 하면 되지만 바로 확인할 수가 없으니 조금 불편하네요^^;