https://research.aimultiple.com/chatbot-analytics/
모든 서비스에서 가장 중요한 것은 측정입니다. 정확한 지표를 파악해야지 지속적으로 개선해나갈 수 있습니다. 챗봇 역시 꾸준한 업데이트가 반드시 필요합니다. 다만 기존 웹서비스와 달리 측정항목에 약간 차이가 있습니다. 챗봇 코리아 단톡방에서 료료료님이 좋은 글을 소개해주셔서 간략하게 정리해봤습니다. (단톡방에서 유용한 정보들을 많이 주고받고 있습니다. 관심있는 분들 참여 부탁드립니다^^ https://open.kakao.com/o/gdXjqS0c)
1. Total Users
: 챗봇에 접속한 전체 유저의 수
2. Active Users
: 챗봇이 보낸 메시지를 읽은 유저의 수
3. Engaged Users
: 챗봇과 대화를 주고받은 유저의 수
4. New Users
: 새로 유입된 유저의 수
5. User sentiment
: 긍정, 중립, 부정 등 유저의 감정 상태. 메시지를 감정분석을 하여 파악.
6. Conversation Starter Messages
: 챗봇이 먼저 유저에게 메시지를 보낸 횟수
7. Bot Messages
: 챗봇이 보낸 총 메시지 수
8. In Messages
: 유저가 보낸 총 메시지 수
9. Miss Messages
: 챗봇이 처리하지 못한 메시지 수
10. Total Conversations
: 특정 날에 완료된 대화의 수
11. New Conversations
: 새로 시작된 대화의 수
12. Retention Rate
: 리텐션 비율. 유저의 잔존율.
13. Goal Completion Rate (GCR)
: 챗봇이 목적을 완료한 비율. 정보제공이나 상품구입 등.
14~16. Goal Completion time/messages/taps
: 챗봇이 목적을 완료한 시간/메시지수/탭(?)
17. Fallback Rate (FBR)
: 챗봇이 대답을 하지 못한 폴백 비율
18. User Satisfaction
: 챗봇 종료시 설문조사 결과
19. Virality
: 입소문이 날 수 있는지 여부
20. Self-Service Rate
: 사람 상담원 전환 없이 챗봇 혼자 처리한 비율