NVIDIA가 Hippocratic AI와 파트너십을 맺었습니다. 환자가 AI 간호사 아바타와 대화를 하는 서비스입니다. 병명을 진단하거나 처방을 하지는 않습니다. 다만 의사의 처방을 대화로 알려주고 환자가 물어보면 그 내용을 요약해서 의사에게 전달하는 역할만 합니다. 실제 사람 간호사는 시당간 90$인데, AI 간호사는 9$로 저렴한 편입니다. 자체 테스트 결과 사람 수준의 만족도를 보인다고 합니다.

NVIDIA 기술이 사용되는건 크게 2가지 입니다. 첫째는 의료 전용 LLM을 학습하고 서빙하는데 H100 Tensor Core를 사용합니다. 둘째는 음성인식 및 음성출력이 되는 아바타를 NVIDIA Avatar Cloud Engine을 통해 구현했습니다.

연구결과 반응시간이 환자와 아바타간의 감정적 유대를 형성하는데 큰 영향을 끼친다고 합니다. AI가 당신을 잘 보살피는지 설문을 했는데, 대답에 3초가 넘으면 84.3%였습니다. 반면에 2.2초로 속도가 빨라지면 88.2%로 만족도가 향상됐습니다. AI의 말을 신뢰할 수 있는가 역시 마찬가지입니다. 3초가 넘으면 80.1%로 낮은데, 2.2초가 되면 88.9%로 훨씬 높아졌습니다.

지금도 GPT-4를 쓰면 대답이 느려서 너무 답답한데요. 인퍼런스 시간을 줄이는게 UX 측면에서도 중요해질 것 같습니다.

< 데모 영상 >

https://www.youtube.com/watch?v=yg0m8eR7k24

< 블로그 >

https://www.globenewswire.com/news-release/2024/3/18/2848236/0/en/Hippocratic-AI-Announces-Collaboration-with-NVIDIA-to-Develop-Super-Low-Latency-Empathy-Inference-for-One-of-the-World-s-First-Generative-AI-Powered-Healthcare-Agents.html