https://hoya012.github.io/blog/automl-zero-review

제가 인공지능으로 석사를 하던 시기에는 발표되는 논문이 매우 적었습니다. 그때는 arXiv가 활성화되지 않아서, 학회나 저널에 발표된 후에야 검색이 가능했습니다. 지금은 인공지능 관련 논문이 매일 쏟아져 나오는데요. 기존 방법을 조금 바꾼 것을 넘어, 혁신적인 알고리즘도 빠르게 발전하고 있습니다.

AutoML-Zero도 그중 하나입니다. 과거에는 딥러닝의 구조를 직접 사람이 설계했습니다. 최근에는 이를 자동으로 수행하는 AutoML이 주목받고 있습니다. 기존에는 NAS(Neural Architecture Search) 같이 학습을 통해 최적의 아키텍처를 생성했습니다. AutoML-Zero는 유전 프로그래밍과 비슷한 진화적 알고리즘을 사용합니다. 사람의 뇌가 만들어진 방식과 좀 더 가깝다고 볼 수 있습니다.

또 하나 중요한 차이는 신경망 설계를 바닥부터 시작했다는 점입니다. NAS는 컨볼루션이나 맥스풀링 같은 최소단위를 사람이 미리 구현했습니다. AutoML-Zero는 기초적인 수학 연산자만 가지고 진화를 시켰기 때문에 보다 확장 가능성이 높습니다.

앞으로 인공지능도 인공지능이 만드는 시대가 곧 올 듯 합니다. 핵심 연구자들은 계속 필요하겠지만, 보통의 모델러들은 위치가 조금 애매해질지도 모르겠네요. 대신 도메인 전문가들이 보다 쉽게 딥러닝을 적용할 수 있다는 면에는 긍정적인 방향이라 생각합니다.