글 수 181

프로그램을 작성하는 딥마인드의 알파코드

조회 수 873 추천 수 0 2022.02.04 03:05:03


딥마인드는 구글 산하의 인공지능 조직입니다. 2016년 알파고로 전세계에 딥러닝 열풍을 불러일으켰습니다. 2018년에는 알파폴드가 단백질 구조 예측대회에서 압도적인 1등을 차지했습니다. 2019년에는 알파스타가 스타크래프트2 대결에서 프로선수를 상대로 10:0 완승을 거뒀습니다.

 

이번에는 프로그래밍이라는 새로운 영역에 도전했습니다. 딥러닝으로 학습한 알파코드가 수만명이 참가하는 코딩 경진대회에 출전했습니다. 여기서 상위 54% 안에 드는 놀라운 성적을 보였습니다. 최소한 평균 수준의 프로그래밍 실력을 가졌다는 의미입니다.

 

OpenAI가 출시한 Copilot과 비슷하지만 조금 차이가 있습니다. Copilot은 주석을 말로 작성하면 해당하는 코드를 자동으로 생성해줍니다. 이전부터 있던 자동완성 기능의 연장선상에 있습니다. 반면에 알파코드는 특정 부분이 아니라 전체 코드를 작성합니다. 따라서 좀 더 고차원적인 학습이 필요합니다.

 

 

 

알파코드는 410억 파라미터로 1750억개의 GPT-3보다는 약간 작은 편입니다. 기본적으로 Transformer 기반의 생성모델이라는 점은 동일합니다. 문제를 입력으로 넣으면 코드가 자동으로 출력됩니다. 하지만 동작방식이 조금 다릅니다.

 

K-001.png

 

 

 

먼저 한 문제마다 100만개 이상의 코드를 Transformer 모델로 샘플링합니다. 그다음 문제에 나와있는 예시 입력/출력을 각 코드에 넣어봐서 올바르게 작동하는지 테스트해봅니다. 여기서 99%가 필터링되고 1만개 정도만 남습니다. 그렇다고 이 1만개가 모두 정답 코드는 아닙니다. 예시 입력/출력에만 맞고 다른 입력에는 틀린 출력이 나올 수 있기 때문입니다.

 

그래서 클러스터링이란 과정을 다시 거칩니다. 문제가 주어지면 코드를 생성하는 모델과 별도로, 문제에 대해 올바른 입력을 생성하는 모델을 따로 학습합니다. 이렇게 새로 만든 입력들을 1만개의 코드에 넣어보고 출력이 같은 코드들을 클러스터로 묶습니다. 그리고 소속된 개수가 많은 클러스터 순서로 10개를 선택하고, 그중 각각 하나의 코드를 가져와서 최종 후보 10개 코드를 뽑아냅니다. 마지막으로 이를 정답으로 제출합니다.

 

K-004.png

 

 

 

알파코드가 엄청난 가능성을 보여줬지만, 그렇다고 당장 프로그래머가 인공지능으로 대체되는 것은 아닙니다. 아직은 짧고 단순한 문제만 코드로 구현할 수 있기 때문입니다. 복잡한 기능을 가진 수천, 수만줄의 프로그램을 만드려면 당연히 사람의 능력이 필요합니다. 다만 딥러닝의 발전속도는 정말 예측하기가 어렵습니다. 앞으로 수년에서 수십년 후에는 어떤 미래가 찾아올지 궁금해집니다.

 

 

 

K-002.png

 

K-003.png

 

https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode

 

List of Articles
제목 글쓴이 날짜 조회 수
네이버의 초거대모델인 하이퍼클로바 가격 공개 깊은바다 2022-08-24 400
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 630
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 767
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 596
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 667
글자, 사진, 영상을 동시에 처리하는 딥마인드의 딥러닝 모델 - Flamingo file 깊은바다 2022-05-10 742
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 795
GPT-3보다 3배 더 큰 구글의 초거대모델, PaLM file 깊은바다 2022-04-07 1138
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 1782
교육용 챗봇의 미래!? 구글 람다 (LaMDA) 깊은바다 2022-03-11 1131
하이퍼클로바 활용예 및 사용가이드 file 깊은바다 2022-03-05 1267
네이버의 초거대모델인 하이퍼클로바 사용 후기 깊은바다 2022-02-14 1348
구글의 대화기반 초거대모델 LaMDA, 논문 공개 file 깊은바다 2022-02-08 996
프로그램을 작성하는 딥마인드의 알파코드 file 깊은바다 2022-02-04 873
GPT-3를 강화학습으로 업그레이드한 InstructGPT file 깊은바다 2022-01-30 1336