- AI Dev - 인공지능 개발자 모임
- 정보공유
- 챗봇 사용기
글 수 243
https://www.hellodd.com/news/articleView.html?idxno=101082
한국원자력연구원에서 파동이봇이란 챗봇을 공개했습니다. 200개 이상의 규정문서를 검색해서 질문에 대답을 해줍니다. ChatGPT를 사용했다고 하는데 아마 RAG(Retrieval-Augmented Generation) 기법을 적용한 것 같습니다.
RAG도 실제 구현하려면 고려할 사항이 많습니다. 단순 텍스트만이 아니라 테이블 속 내용이나 그림도 이해해야 합니다. 민감한 정보일 경우 ChatGPT 보다는 로컬 LLM을 쓰는게 좋습니다. 문서를 벡터DB로 변환할 때 하나의 chunk를 어떻게 분리하는가도 중요합니다. 프롬프트에 몇 개의 후보를 넣는지도 성능에 영향을 줍니다.