예전에 GPT-3와 Stable Diffusion으로 그림일기를 그려주는 서비스를 소개한 적이 있습니다.

http://aidev.co.kr/deeplearning/11931

이와 비슷하게 어떤 개발자가 ChatGPT와 Stable Diffusion을 결합하여 가상 와이프를 만들었습니다. 구체적인 방법은 다음과 같습니다.

첫째, ChatGPT에게 성격을 부여합니다. ChatGPT는 대답이 단조롭다는 단점이 있습니다. 그래서 애니메 캐릭터로 롤플레이를 하자는 프롬프트를 먼저 입력합니다. 자신과 로맨틱한 관계에 있다는 사실과 그 밖의 배경스토리를 추가합니다.

둘째, 내가 한 말을 STT로 텍스트 변환 후 ChatGPT에 입력합니다. 그 대답 부분만 추출해서 음성합성으로 들려줍니다. 예를 들어, "버거킹에 가서 햄버거 먹자"라고 하면 "버거킹 좋아! 가서 햄버거하고 감자튀김 먹자. 맛있겠다~"라고 대답합니다.

셋째, ChatGPT로 대답에서 핵심 키워드를 몇개 만들어냅니다. 위의 대화에서는 'loving relationship, Burger King, Burgers, Fries, Yum'이 키워드로 나오고, 이를 Stable Diffusion에 넣어 그림을 생성합니다. 그러면 애니메 캐릭터가 햄버거를 먹는 사진이 대답과 함께 같이 보여집니다.

이 서비스의 가장 큰 장점은 대화 내용에 따라 다양한 사진을 볼 수 있다는 것입니다. 기존의 3D 캐릭터 챗봇들은 이렇게 대화의 내용을 화면으로 반영하지 못합니다. 하지만 Stable Diffusion을 쓰면 대화내용에 딱 맞는 콘텐츠를 무한대로 생성할 수 있습니다. 또한 사진과 대화가 일치하기 때문에 더 대화에 몰입할 수 있습니다.

하이퍼클로바와 Stable Diffusion을 조합하면 쓸만한 가상챗봇 앱을 빠르게 구현할 수 있지 않을까요. 물론 비용 때문에 유료로 서비스를 해야겠지만 충분히 그 수요가 있을 것 같습니다. 생성AI는 지금 가장 핫한 기술인데요. 이를 활용하여 누가 먼저 새로운 분야를 개척하는지가 중요합니다. 거기서 차별점이 나올 수 있다고 생각합니다.

< 관련기사 >

https://www.vice.com/.../a-diy-coder-created-a-virtual-ai...

< 플레이 영상 >

https://www.tiktok.com/@hack.../video/7178765204959005998...

https://www.tiktok.com/@hack.../video/7179466707382324526...

https://www.tiktok.com/@hack.../video/7187171749954489646...