오랜만에 존경하는 업계 대표님과 커피챗을 했습니다. 데이터셋 가공을 하는 스타트업을 운영하시는데요. 그분이 하시는 말씀이 최근에는 학습 데이터 요청이 들어오지 않는다고 하십니다. 오픈소스 LLM도 성능이 좋아서 RAG를 결합하면 굳이 파인튜닝이 필요 없어졌기 때문입니다. 학습 데이터도 외주 업체 대신 AI를 써서 가공하는게 더 싸니까요.

대신 각 기업이 자체적으로 만든 온프레미스 LLM의 평가 데이터를 만들고 있습니다. 물론 지금도 LLM-as-a-judge처럼 AI가 평가를 할 수 있습니다. 다만 경영진 입장에서는 외부 전문가의 객관적인 평가를 원한다고 합니다. 많은 데이터셋 가공 업체들이 에이전트 등 다른 분야로 확장을 진행중입니다.

1년 전만 해도 RAG 전문 스타트업들이 많이 창업했습니다. 자체 SaaS로 각 기업들이 쉽게 RAG 기반 AI를 만들 수 있게 해주었습니다. 하지만 요즘은 거의 모든 기업들이 RAG 기술을 내재화하고 있습니다. 오픈소스 RAG도 있고 구현이 훨씬 편해져서 외부에 맡길 필요가 없어졌습니다.

기술이 너무 빨리 발전하고 있습니다. 잠깐 주목받던 분야도 얼마 지나지 않아 누구나 쓸 수 있게 대중화됩니다. 프롬프트 엔지니어링도 비슷합니다. 요즘 각광받는 하네스나 에이전트 오케스트레이션도 곧 같은 수순을 밟을 것입니다. AI 모델이 더 똑똑해지고 그런 기술 역시 기본으로 포함될 테니까요.

네트워크 효과가 있는 플랫폼이나 데이터 또는 하드웨어의 해자가 있지 않다면 하나의 분야를 오래 지속하기 어려워질 것입니다. 1인 창업이든 스타트업이든 틈새 분야를 찾아 1~2년 수익을 얻고 재빨리 또 다른 틈새를 찾아야 합니다. AI로 인해 자동화되거나 누구나 그 일을 쉽게 할 수 있게 되기 전까지요.

IT 창업의 자영업화가 시작됐습니다. 모두가 창업을 해야 하는 시대입니다. 다만 치열한 경쟁을 통해 극소수만 살아남게 됩니다. 또한 그런 사람들도 대박보다는 월급 이상 버는 정도에 만족해야 합니다. 그나마 성공할 수 있는 방법은 남들보다 빨리 이 경쟁에 뛰어드는 것입니다.