레플리
글 수 281

OpenAI의 샘 알트만, AGI를 향한 계획

조회 수 209 추천 수 0 2023.02.25 18:15:37


"AGI를 준비하기 위해 지금 해야 할 중요한 일들이 몇 가지 있습니다.

 

첫째, 더욱 강력한 시스템을 지속적으로 개발하면서 이를 배포하고 실제 환경에서 운영 경험을 쌓는 것입니다. 이것이 AGI를 신중하게 도입할 수 있는 가장 좋은 방법이라고 생각합니다. AGI가 있는 세상으로의 점진적인 전환이 갑작스러운 전환보다 낫기 때문입니다. 강력한 AI가 세상의 발전 속도를 훨씬 더 빠르게 만들 것으로 기대하며, 점진적으로 적응하는 것이 더 낫다고 생각합니다.

 

점진적인 전환은 사람, 정책 입안자, 기관이 현재 상황을 이해하고, 이러한 시스템의 장단점을 직접 경험하고, 경제에 적응하고, 규제를 마련할 수 있는 시간을 제공합니다. 또한, 사회와 AI가 함께 진화하고 사람들이 상대적으로 적은 비용으로 원하는 바를 집단적으로 파악할 수 있게 해줍니다."

 

"첫 번째 AGI는 지능의 연속선상에 있는 한 지점에 불과할 것입니다. 그 이후에도 지난 10년 동안 보아온 발전 속도를 장기간 유지할 수 있을 것으로 예상됩니다. 이것이 사실이라면 세상은 지금과는 매우 달라질 수 있으며, 그 위험은 엄청날 수 있습니다. 잘못 조정된 초지능 AGI는 전 세계에 심각한 해를 끼칠 수 있으며, 독재 정권이 초지능을 결정적으로 주도할 수도 있습니다...초지능이 있는 세상으로의 성공적인 전환은 아마도 인류 역사상 가장 중요하고 희망적이면서도 두려운 프로젝트일 것입니다."

 

 

 

OpenAI의 CEO인 샘 알트만이 어제 올린 글입니다. 저는 읽으면서 약간 전율이 느껴질 정도였습니다. 영화 속 미래가 이제 눈 앞으로 다가온 것 같아서였습니다. 저렇게 자신있게 AGI(인간수준의 범용인공지능)를 준비하라고 말하고 있으니까요.

 

이건 제 개인적인 추측인데 구글과 OpenAI는 이미 AGI에 근접한 무언가를 만든게 아닐까 생각됩니다. 최소한 ChatGPT나 GPT-3, GPT-4 보다도 훨씬 뛰어난 모델일 것입니다. 구글의 PaLM만 해도 GPT-3의 170B 보다 훨씬 큰 540B입니다. 이것 말고도 공개하지 않은 모델들이 더 있을 거라고 봅니다.

 

구글과 딥마인드는 지금까지 매우 안전하고 보수적으로 접근해왔습니다. 자신들이 만든 생성AI들은 논문만 발표하고 대중에 공개하지 않았습니다. 반대로 OpenAI는 적극적으로 상용화를 하고 있습니다. 이번 글에서 밝힌 바와 같이 세상에 빨리 공개하고 적응하는 시간을 주는게 더 안전하다고 생각하기 때문입니다. 이번에 ChatGPT가 그 본격적인 시작입니다. 이제 모든 사람들이 AGI의 능력에 대해서 어렴풋이나마 느끼고 있습니다.

 

물론 AGI까지 가는 길은 아직 멀었습니다. 지금과 같이 트랜스포머 구조를 크기만 늘려서는 안될 가능성이 높습니다. 그래도 샘 알트만 정도의 사람이 이런 주장을 하는 것을 보니 뭔가 돌파구를 발견한 것일 수도 있습니다. 너무 상상의 나래를 펼치고 있네요^^; 아무튼 지금 상황이 너무 흥미롭습니다!

 

 

 

https://openai.com/blog/planning-for-agi-and-beyond/

(한글번역)

--------------------------------------

 

AGI를 위한 계획과 그 너머

우리의 임무는 일반적으로 인간보다 더 똑똑한 일반 인공 지능(AGI) - AI 시스템이 모든 인류에게 혜택을 줄 수 있도록 하는 것입니다.

 

AGI가 성공적으로 개발되면 이 기술은 풍요를 증진하고 세계 경제를 활성화하며 가능성의 한계를 변화시키는 새로운 과학 지식의 발견을 지원함으로써 인류를 향상시키는 데 도움이 될 수 있습니다.

 

AGI는 모든 사람에게 놀랍도록 새로운 능력을 제공할 수 있는 잠재력을 가지고 있으며, 우리 모두가 거의 모든 인지 작업에 도움을 받을 수 있는 세상을 상상할 수 있으며, 인간의 독창성과 창의성에 큰 힘을 불어넣을 수 있습니다.

 

반면에 AGI는 오용, 심각한 사고, 사회적 혼란을 초래할 수 있는 심각한 위험도 수반할 수 있습니다. AGI의 긍정적인 측면이 워낙 크기 때문에 사회가 영원히 개발을 중단하는 것은 가능하지도 않고 바람직하지도 않다고 생각하며, 대신 사회와 AGI 개발자들이 올바른 방법을 찾아야 합니다.[1]

 

앞으로 어떤 일이 일어날지 정확히 예측할 수 없고, 물론 현재의 진전이 벽에 부딪힐 수도 있지만, 우리가 가장 중요하게 생각하는 원칙은 명확히 말할 수 있습니다:

 

1. 우리는 AGI가 인류가 우주에서 최대한 번영할 수 있도록 힘을 실어주기를 바랍니다. 우리는 미래가 완벽하지 않은 유토피아가 되기를 기대하지는 않지만, 좋은 점은 극대화하고 나쁜 점은 최소화하여 AGI가 인류의 증폭기가 되기를 원합니다.

 

2. 우리는 AGI의 혜택, 접근성, 거버넌스가 광범위하고 공정하게 공유되기를 원합니다.

 

3. 우리는 거대한 위험을 성공적으로 헤쳐나가고자 합니다. 이러한 위험에 직면할 때, 이론적으로는 옳아 보이는 일이 실제로는 예상보다 이상하게 전개되는 경우가 많다는 것을 인정합니다. 우리는 '한 번의 실패'를 최소화하기 위해 덜 강력한 버전의 기술을 배포하여 지속적으로 학습하고 적응해야 한다고 믿습니다.

단기적 (계획)

AGI를 준비하기 위해 지금 해야 할 중요한 일들이 몇 가지 있습니다.

 

첫째, 더욱 강력한 시스템을 지속적으로 개발하면서 이를 배포하고 실제 환경에서 운영 경험을 쌓는 것입니다. 이것이 AGI를 신중하게 도입할 수 있는 가장 좋은 방법이라고 생각합니다. AGI가 있는 세상으로의 점진적인 전환이 갑작스러운 전환보다 낫기 때문입니다. 강력한 AI가 세상의 발전 속도를 훨씬 더 빠르게 만들 것으로 기대하며, 점진적으로 적응하는 것이 더 낫다고 생각합니다.

 

점진적인 전환은 사람, 정책 입안자, 기관이 현재 상황을 이해하고, 이러한 시스템의 장단점을 직접 경험하고, 경제에 적응하고, 규제를 마련할 수 있는 시간을 제공합니다. 또한, 사회와 AI가 함께 진화하고 사람들이 상대적으로 적은 비용으로 원하는 바를 집단적으로 파악할 수 있게 해줍니다.

 

현재로서는 빠른 학습과 신중한 반복을 통해 긴밀한 피드백 루프를 구축하는 것이 AI 배포 과제를 성공적으로 해결하는 가장 좋은 방법이라고 생각합니다. 사회는 AI 시스템의 허용 범위, 편견에 대처하는 방법, 일자리 대체에 대처하는 방법 등에 대한 주요 질문에 직면하게 될 것입니다. 최적의 결정은 기술이 나아가는 길에 따라 달라질 것이며, 다른 새로운 분야와 마찬가지로 지금까지 대부분의 전문가 예측이 틀린 경우가 많았습니다. 따라서 진공 상태에서 계획을 세우는 것은 매우 어렵습니다.[2]

 

일반적으로 저희는 전 세계에서 AI를 더 많이 사용할수록 더 좋은 결과를 가져올 것이라고 생각하며, 이를 촉진하기 위해 API에 모델을 탑재하거나 오픈소스를 공개하는 등의 노력을 기울이고 있습니다. 또한 민주화된 액세스가 더 나은 연구, 분산된 권한, 더 많은 혜택, 새로운 아이디어를 제공하는 더 많은 사람들로 이어질 것이라고 믿습니다.

 

저희 시스템이 AGI에 가까워짐에 따라, 저희는 모델을 만들고 배포하는 데 점점 더 신중해지고 있습니다. 우리의 결정에는 사회가 일반적으로 신기술에 적용하는 것보다 훨씬 더 많은 주의가 필요하며, 많은 사용자가 원하는 것보다 더 많은 주의가 필요합니다. AI 분야의 일부 사람들은 AGI(및 후속 시스템)의 위험성을 허구라고 생각하는데, 그 생각이 옳은 것으로 판명된다면 더할 나위 없이 좋겠지만, 저희는 이러한 위험이 실재하는 것처럼 운영할 것입니다.

어느 시점에서 배포의 장점과 단점(악의적인 행위자 권한 부여, 사회 및 경제적 혼란 야기, 안전하지 않은 경쟁 가속화 등) 사이의 균형이 바뀔 수 있으며, 이 경우 지속적인 배포에 관한 계획을 크게 변경할 것입니다.

 

둘째, 점점 더 조정되고 조정 가능한 모델을 만들기 위해 노력하고 있습니다. GPT-3의 첫 번째 버전과 같은 모델에서 InstructGPT와 ChatGPT로 전환한 것이 그 초기 사례입니다.

특히, 우리는 사회가 AI를 어떻게 사용할 수 있는지에 대해 매우 넓은 범위에서 합의하되, 그 범위 내에서 개별 사용자에게 많은 재량권을 부여하는 것이 중요하다고 생각합니다. 궁극적인 목표는 각 기관이 이러한 넓은 범위에 대해 합의하는 것이지만, 단기적으로는 외부의 의견을 수렴하기 위한 실험을 진행할 계획입니다. 세계 각국의 기관들은 AGI에 대한 복잡한 결정에 대비하기 위해 추가적인 역량과 경험을 강화해야 할 것입니다.

 

제품의 '기본 설정'은 상당히 제한적일 가능성이 높지만, 사용자가 사용 중인 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. 우리는 개인이 스스로 결정을 내릴 수 있도록 권한을 부여하고 다양한 아이디어의 고유한 힘을 믿습니다.

 

모델이 더욱 강력해짐에 따라 새로운 정렬 기술을 개발해야 하며, 현재 기술이 실패할 때를 파악하기 위한 테스트도 필요합니다. 단기적으로는 인간이 더 복잡한 모델의 결과를 평가하고 복잡한 시스템을 모니터링하는 데 AI를 활용하고, 장기적으로는 더 나은 정렬 기법을 위한 새로운 아이디어를 떠올리는 데 AI를 활용할 계획입니다.

 

중요한 것은 AI의 안전과 기능을 함께 발전시켜야 한다는 점입니다. 이 두 가지를 따로 떼어놓고 이야기하는 것은 잘못된 이분법이며, 여러 가지 면에서 상호 연관되어 있습니다. 최고의 안전 작업은 가장 유능한 모델과 함께 작업할 때 이루어집니다. 즉, 안전과 역량 발전의 비율을 높이는 것이 중요합니다.

 

셋째, 이러한 시스템을 어떻게 운영할 것인지, 시스템에서 창출되는 혜택을 어떻게 공정하게 분배할 것인지, 접근 권한을 어떻게 공정하게 공유할 것인지 등 세 가지 핵심 질문에 대한 전 세계적인 논의가 이루어지기를 희망합니다.

 

이 세 가지 영역 외에도, 저희는 인센티브와 좋은 결과를 연계하는 방식으로 구조를 설정하려고 노력해 왔습니다. 저희는 헌장에 다른 조직이 AGI 개발 후기 단계에서 경쟁하는 대신 안전을 발전시킬 수 있도록 지원하는 조항을 두고 있습니다. 우리는 주주들이 얻을 수 있는 수익에 상한선을 두어, 잠재적으로 재앙을 초래할 수 있는 위험을 무릅쓰고 무모하게 가치를 창출하려는 동기를 부여하지 않도록 하고 있습니다(물론 사회와 이익을 공유할 수 있는 방법으로도). 저희는 안전을 위해 필요한 경우 주주에 대한 지분 의무를 취소하고 세계에서 가장 포괄적인 보편 기본 소득(UBI) 실험을 후원하는 등 인류의 이익을 위해 운영할 수 있는 비영리 단체를 운영하고 있으며, 이 단체는 영리적 이익보다 우선할 수 있습니다.

저희와 같은 노력은 새로운 시스템을 출시하기 전에 독립적인 감사를 받는 것이 중요하다고 생각하며, 이에 대해서는 올해 후반에 더 자세히 설명할 예정입니다. 향후 시스템 훈련을 시작하기 전에 독립적인 검토를 받고, 새로운 모델을 만드는 데 사용되는 컴퓨팅의 증가 속도를 제한하는 데 동의하는 가장 진보된 노력이 어느 시점에서 중요할 수 있습니다. 학습 실행을 중단하거나, 모델을 출시해도 안전하다고 판단하거나, 모델을 실제 사용에서 제외해야 하는 시점에 대한 공개 표준이 중요하다고 생각합니다. 마지막으로, 세계 주요 정부가 일정 규모 이상의 훈련 실행에 대한 인사이트를 확보하는 것이 중요하다고 생각합니다.

장기적 (계획)

저희는 인류의 미래는 인류가 결정해야 하며, 그 진전에 대한 정보를 대중과 공유하는 것이 중요하다고 믿습니다. AGI를 구축하려는 모든 노력에 대한 면밀한 조사와 주요 결정에 대한 대중의 협의가 있어야 합니다.

 

첫 번째 AGI는 지능의 연속선상에 있는 한 지점에 불과할 것입니다. 그 이후에도 지난 10년 동안 보아온 발전 속도를 장기간 유지할 수 있을 것으로 예상됩니다. 이것이 사실이라면 세상은 지금과는 매우 달라질 수 있으며, 그 위험은 엄청날 수 있습니다. 잘못 조정된 초지능 AGI는 전 세계에 심각한 해를 끼칠 수 있으며, 독재 정권이 초지능을 결정적으로 주도할 수도 있습니다.

 

과학을 가속화할 수 있는 AI는 생각해 볼 가치가 있는 특별한 경우이며, 어쩌면 다른 모든 것보다 더 영향력이 클 수도 있습니다. 자체적으로 발전을 가속화할 수 있는 능력을 갖춘 인공지능이 등장하면 놀라울 정도로 빠르게 큰 변화가 일어날 수 있습니다(전환이 느리게 시작되더라도 최종 단계에서는 상당히 빠르게 진행될 것으로 예상됩니다). 느리게 이륙하는 것이 더 안전하다고 생각하며, 중요한 시점에 속도를 늦추기 위한 AGI 노력 간의 조정이 중요할 것입니다(기술 조정 문제를 해결하기 위해 이렇게 할 필요가 없는 세상에서도 사회가 적응할 시간을 충분히 주기 위해 속도를 늦추는 것이 중요할 수 있습니다).

 

초지능이 있는 세상으로의 성공적인 전환은 아마도 인류 역사상 가장 중요하고 희망적이면서도 두려운 프로젝트일 것입니다. 성공이 보장되는 것은 아니며, 그 위험(무한한 단점과 무한한 장점)이 우리 모두를 단결하게 만들 것입니다.

 

우리는 인류가 아직은 완전히 상상할 수 없을 정도로 번영하는 세상을 상상할 수 있습니다. 우리는 그러한 번영에 걸맞은 AGI가 세상에 기여하기를 희망합니다.

각주

1. 예를 들어, AGI를 만드는 데 엄청난 양의 컴퓨팅이 필요하고 따라서 누가 작업하고 있는지 전 세계가 알게 될 것 같고, 초진화 RL 에이전트가 서로 경쟁하며 우리가 실제로 관찰할 수 없는 방식으로 지능을 진화시킨다는 원래의 개념은 원래 생각보다 가능성이 적고, 인류의 집단적 선호도와 결과물로부터 학습할 수 있는 사전 학습된 언어 모델에서 이 정도로 많은 진전을 이룰 것이라고는 거의 아무도 예측하지 못한 것 등 우리가 이전에 예상했던 것에 비해 많은 선물을 받은 것 같습니다.

 

AGI는 조만간 또는 먼 미래에 실현될 수 있으며, 초기 AGI에서 더 강력한 후속 시스템으로의 도약 속도는 느릴 수도 있고 빠를 수도 있습니다. 많은 사람들이 이 AI 사분면에서 가장 안전한 것은 짧은 타임라인과 느린 이륙 속도라고 생각합니다. 타임라인이 짧을수록 조율이 용이하고 과도한 컴퓨팅이 적어 이륙 속도가 느려질 가능성이 높으며, 이륙 속도가 느려지면 안전 문제를 해결하는 방법과 적응 방법을 경험적으로 파악할 시간이 더 많이 주어지기 때문입니다.

 

2. 예를 들어, OpenAI를 처음 시작했을 때만 해도 확장성이 지금처럼 중요할 것이라고는 예상하지 못했습니다. 확장성이 중요해질 것이라는 사실을 깨달았을 때, 비영리 단체로서의 사명을 달성하기 위해 충분한 자금을 모금할 수 없는 기존의 구조가 작동하지 않을 것이라는 사실도 깨달았고, 그래서 새로운 구조를 고안해냈습니다.

 

또 다른 예로, 개방성에 대한 기존의 생각이 틀렸다고 판단하여 모든 것을 공개해야 한다는 생각에서(일부 기능을 오픈소스화하고 있으며 앞으로 더 많은 기능을 오픈소스화할 예정입니다!) 시스템에 대한 접근과 혜택을 안전하게 공유할 수 있는 방법을 찾아야 한다는 생각으로 방향을 선회했습니다. 저희는 여전히 사회가 무슨 일이 일어나고 있는지 이해함으로써 얻을 수 있는 이점이 매우 크며, 그러한 이해를 가능하게 하는 것이 사회가 공동으로 원하는 것을 구축하는 가장 좋은 방법이라고 믿습니다(물론 여기에는 많은 뉘앙스와 갈등이 존재합니다).

저자: 샘 올트만

감사의 글: Thanks to Brian Chesky, Paul Christiano, Jack Clark, Holden Karnofsky, Tasha McCauley, Nate Soares, Kevin Scott, Brad Smith, Helen Toner, Allan Dafoe, and the OpenAI team for reviewing drafts of this.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
Poe에 추가된 업스테이지의 LLM, Solar-70b file 깊은바다 2023-09-18 414
RAG 아키텍처를 위한 임베딩 모델의 선택에 대해 깊은바다 2023-09-14 496
LLM의 미래는 자율행동과 멀티 에이전트 깊은바다 2023-08-30 292
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 724
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 593
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 674
RAG 아키텍처의 이해 깊은바다 2023-07-23 1292
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 452
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 694
한국어 LLM 민주화의 시작 KoAlpaca file 깊은바다 2023-07-17 1017
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 353
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1150
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 9280
Generative AI — 시장 구조, 기회, moat에 대한 몇 가지 생각 깊은바다 2023-06-27 298
ChatGPT plugin와 Autonomous Agent, 그리고 새로운 패러다임의 시작 깊은바다 2023-06-27 203