레플리
글 수 238


Claude 3.5 Sonnet 최신 버전이 공개됐습니다. 이전 버전보다 전반적으로 성능이 높아졌지만, 무엇보다 Computer use라는 기능이 새로 추가됐습니다. 컴퓨터 스샷을 찍어서 화면을 이해하고, 직접 마우스와 키보드를 조작해서 사용자가 원하는 작업을 수행합니다.

 

2024년 1월에 발표한 Rabbit R1을 기억하시나요. 음성으로 도어대시에서 주문을 하거나 우버를 부르는 영상으로 큰 주목을 받았습니다. 여기서 지원하는 LAM(Large Action Model)이 Computer use와 거의 유사합니다. LLM은 텍스트를 넣으면 텍스트가 출력됩니다. 반면에 LAM은 실제 액션을 수행한다는 차이가 있습니다.

 

이는 ChatGPT의 Function calling보다 훨씬 범용적입니다. 예를 들어, 쿠팡앱을 LLM이 조작하려면 쿠팡에서 Function calling을 위한 인터페이스를 따로 개발해야 합니다. '쿠팡에서 삼성 노트북 최저가 검색해'라고 물어보면, 실제 쿠팡 서버를 검색해서 결과를 반환하는 API가 필요합니다. 100개의 앱을 조작하려면, 100개의 앱 개발사가 각각 이런 인터페이스를 구현해야 합니다.

 

하지만 LAM을 쓴다면 모든 문제가 해결됩니다. 그냥 AI가 앱 화면을 보고 직접 앱의 UI를 조작하니까요. Claude의 Computer use는 이 기능을 Sonnet 3.5에 내장했습니다. 물론 아직은 베타 버전이라 제한적으로만 사용이 가능합니다.

 

Apple Intelligene에도 In-app actions라는 기능이 있습니다. 시리에서 다양한 아이폰 내장 앱들과 연동할 수 있습니다. 다만 LAM은 아니고 Function calling 방식으로 보입니다. LAM은 아직 성능도 떨어지고 비용도 더 많이 드니까요. 머지 않아 에이전트는 LAM으로 발전할 것이라 생각합니다. 외부 서비스를 조작하려면 사람과 동일한 방식을 쓰는게 가장 효과적이기 때문입니다. Computer use를 보니 그 날이 얼마 남지 않은 것 같습니다.

 

 

 

K-001_1.jpg

 

K-004_1.jpg

 

K-008_1.jpg

 

https://www.anthropic.com/news/3-5-models-and-computer-use

 

https://www.anthropic.com/news/developing-computer-use

 

List of Articles
제목 글쓴이 날짜 조회 수
Talkie, 2024년 상반기 미국에서 가장 많이 다운로드된 앱 4위 file 깊은바다 2024-11-09 26
컴퓨터 화면을 이해하고 직접 조작하는 LLM - Claude Computer use file 깊은바다 2024-10-23 103
카카오의 새로운 AI 서비스 - 카나나(Kanana) file 깊은바다 2024-10-22 122
챗GPT 한글 고급 음성모드 후기 file 깊은바다 2024-10-19 105
AI Companion 앱 Talkie의 모기업은 중국의 미니맥스(MiniMax) file 깊은바다 2024-10-07 112
내가 AI SNS인 Butterflies에 빠지게 된 이유 file 깊은바다 2024-09-28 214
AI 캐릭터가 스스로 게시물을 작성하는 SNS - Butterflies file 깊은바다 2024-09-19 277
로판 AI 예상 매출 file 깊은바다 2024-09-03 824
8살 소녀가 AI로 해리 포터와 대화하는 웹사이트 만들기 - Cursor AI 깊은바다 2024-08-31 336
대화 상황에 따라 이미지를 생성하는 일상대화 AI - Quarka(아이라) file 깊은바다 2024-08-27 229
나만 사람이고 다른 유저는 AI인 SNS - 멜론(Melonn) file 깊은바다 2024-08-21 257
하이퍼커넥트 전 창업자, AI 기반 글로벌 소셜 플랫폼 개발 file 깊은바다 2024-08-15 209
메타의 야심작, AI Studio 정식 출시 file 깊은바다 2024-08-01 268
새로운 AI Companion 서비스 - 로판 AI file 깊은바다 2024-07-20 2653
GPT-3.5보다 80% 저렴하고 성능은 더 높아진 GPT-4o mini file 깊은바다 2024-07-19 208