[글=노규남 | 위블 CTO]
bardroh@weable.ai

AI 모델들은 계속해서 커지고 있다. 새로운 AI 모델을 연구하는 데는 인프라, 인력, 데이터 등 점점 많은 비용이 들게 되며 스타트업이나 중소기업 입장에서 큰 모델을 개발하는 일은 매우 어려워졌다. 현재 이런 대형 모델에 대한 연구는 카카오, 네이버, 구글, 페이스북 같은 IT 대기업들이 주로 하고 있으며, 작은 기업들은 이런 모델을 개발할 역량이 되지 않으므로 이미 만들어진 것을 가져다 쓰는 방향으로 발전할 가능성이 높다.

따라서 큰 조직들이 이런 모델들을 만들어서 유료 또는 무료로 배포하면 개개의 구체적인 서비스나 업무는 이를 활용하는 조직들이 개발하는 형태의 밸류체인이 생길 수 있는데, 이렇듯 다양한 서비스에 사용하기 위해 개발되고 학습된 다목적 모델을 파운데이션 모델이라 부른다.

AI는 어떤 방향으로 발전해 왔는가

이런 초대형 모델들에 대한 흥미로운 논문이 있다. ‘On the Opportunities and Risks of Foundation Models’라는 이름의 이 논문은 212쪽이나 되는 긴 내용으로, 그 길이에 걸맞게 저자도 무려 106명이나 된다. 저자들은 스탠포드대 인간 중심 인공지능(AI) 연구소(HAI)의 연구자들인데, 이들은 해당 논문에서 30년 동안 AI는 Emergence와 Homogenization을 증가시키는 방향으로 발전해왔다고 설명한다.

초기 머신러닝은 어떤 식으로 학습을 시켜야 효율적일지에 대해 주로 연구하여 알고리즘 위주로 발전했다. 여기서 모든 머신러닝의 가장 기본 모델이라 할 수 있는 Linear Regression, Logistic Regression, Decision Tree 등 수많은 알고리즘들이 고안되었고 어느 정도 성과를 보였다. 이 시기에는 더 높은 성능을 낼 수 있는 알고리즘을 연구하는 것이 가장 중요한 주제였다.

그러다가 딥러닝의 시대가 되면서 단일 알고리즘에 대한 연구보다 어떤 구조의 모델을 만들어야 더 학습이 잘 될 것인가로 사람들의 관심이 쏠리기 시작했다. 지금은 유명한 CNN, RNN, Transformer, GAN 등 단순한 Dense Network가 아닌 좀더 복잡한 구조의 신경망이 고안되었다.

CNN도 VGGNet, ResNet이나 DenseNet, Vision Transformer 등 다양한 형태가 나왔고, Transformer도 연구 붐을 촉발한 BERT에서부터 GPT2, T5, BART, ALBERT, ELECTRA 등 수많은 모델들이 나왔다. 또한 모델의 크기를 증가시키면 더 좋은 성능을 낼 수 있다는 점이 알려지면서 점점 모델들이 대형화되는 추세이다.

모델이 대형화되면서 단순히 성능만을 높인 것은 아니다. Emergence는 우리말로 하자면 출현, 발견 정도로 해석할 수 있을 텐데, 논문에서는 ‘시스템의 작동이 명시적(explicit)하게 지정되기 보다는 묵시적(implicit)으로 유도되는 것’을 의미한다고 설명하고 있다. 다시 말하자면 AI 모델들이 발전하면서 점점 사람이 명시적으로 지시해야 하는 부분이 줄어들고 있음을 의미한다.

초기 머신러닝 시절에는 어떤 알고리즘을 사용할지, 어떤 특성(feature)을 사용할지를 사용자가 일일이 지정해주어야 했지만 이제는 데이터를 제공해주면 그로부터 잠재 특성(latent feature)을 추출하여 학습할 수 있다. 초대형의 NLP(자연어처리) 모델에 이르러서는 이미 학습된 모델에 작은 샘플 데이터세트를 주어서 학습하거나(fine tuning) 또는 하나의 예제만을 주고 판단하게 하거나(One-shot learning) 아예 학습 없이 바로 특정 업무에 투입(Zero-shot learning) 할 수 있는 수준까지 올라와 있는 것이다.