서론
생성형 AI 시대가 본격화되면서 AI 에이전트 기술이 빠르게 진화하고 있다. 오늘날 많은 AI 서비스에서 ‘에이전트’는 단순한 챗봇이나 응답형 시스템을 넘어, 다양한 툴과 시스템을 능동적으로 연결하고 제어하는 존재로 자리잡고 있다. 그런데 이 에이전트 AI를 구성하는 핵심 기술, 즉 ‘언어 모델’ 선택에 변화의 바람이 불고 있다.
NVIDIA Research와 조지아 공대 연구진은 최근 논문 《Small Language Models are the Future of Agentic AI》(arXiv, 2025년 6월)에서 “앞으로 에이전트 AI는 더 이상 거대 언어 모델(LLM: Large Language Model)이 아닌 소형 언어 모델(SLM: Small Language Model)을 중심으로 발전할 것”이라는 도발적인 주장을 내놓았다.
이 논문은 왜 SLM이 에이전트 AI에 더 적합한지, 어떤 경제적·운영적 장점이 있는지, 그리고 LLM에서 SLM으로 전환하는 실질적인 방법까지 구체적으로 제시한다. AI 기술 전략을 고민하는 개발자, 기업 CTO, AI 서비스 기획자라면 이 내용을 반드시 읽어둘 필요가 있다.
이 글에서는 해당 논문의 주요 내용을 한국어로 상세히 풀어 소개하며, 지금 AI 에이전트 전략을 고민하는 모든 이들에게 실질적인 인사이트를 제공하고자 한다.
1. 왜 SLM인가: 에이전트 AI에서 SLM이 갖는 의미
현재 많은 AI 서비스가 ‘에이전트’라는 형태로 진화하고 있다. AI가 사람처럼 자연어로 응답하는 데 그치지 않고, 능동적으로 툴을 호출하고 외부 시스템과 상호작용하며 복잡한 작업을 자동화하는 것이다. 이러한 에이전트 AI의 중심 기술은 당연히 언어 모델이다.
지금까지는 고성능 LLM들이 주로 쓰여왔지만, 실제로 현업에서 활용되는 AI 에이전트의 태스크를 분석해 보면 반복적이고 구조화된 작업이 대부분이다. 이런 업무는 굳이 클라우드 기반 대형 LLM을 쓸 필요가 없으며, SLM은 경량화된 구조 덕분에 디바이스 내 실행이 가능하고, 응답 속도가 빠르며, 운영비용도 훨씬 낮다. 특히 최근 SLM 기술이 급격히 발전하면서 LLM 못지않은 성능을 보여주고 있어 그 가능성이 새롭게 조명되고 있다.
이번 논문에서 엔비디아 연구진은 명확한 주장을 펼친다. 최신 SLM은 이미 에이전트 AI가 요구하는 수준의 언어 모델링 역량을 갖추었고, 에이전트 AI 환경에 더 적합한 구조적 특성을 지니며, 경제성 측면에서도 LLM보다 훨씬 유리하다. 이러한 이유로 SLM은 앞으로 에이전트 AI의 주류가 될 수밖에 없다는 것이 이들의 결론이다.
2. SLM이 LLM보다 더 적합한 이유
불과 몇 년 전만 해도 SLM은 LLM에 비해 성능이 부족하다는 인식이 일반적이었다. 하지만 최근 등장한 SLM들은 매우 빠른 속도로 성능을 끌어올리고 있다. 예를 들어 Microsoft의 Phi-3 Small(7B), 엔비디아의 Nemotron-H 시리즈, DeepMind의 RETRO-7.5B 등은 최신 LLM과 유사한 성능을 보여주며, 작은 모델 크기가 더 이상 성능 저하를 의미하지 않는 시대가 열리고 있다.
SLM의 가장 큰 장점 중 하나는 비용 절감 효과다. 대형 LLM은 클라우드 기반 인프라에서 작동하며 많은 연산 자원과 에너지를 필요로 한다. 반면 SLM은 단일 GPU 또는 소비자용 기기에서도 실행 가능하며, 비용은 LLM 대비 10~30배 낮다. 또한 SLM은 파인튜닝이나 커스터마이징이 훨씬 용이하여, 각 산업군 또는 기업 특성에 맞춘 에이전트 AI를 빠르게 구현할 수 있다. 이러한 유연성은 소규모 개발팀이나 스타트업에게도 큰 기회를 제공한다.
AI 에이전트가 실제 서비스에서 수행하는 대부분의 작업은 매우 반복적이고 구조화된 패턴을 따른다. 문서 요약, 특정 툴 호출, 코드 자동 생성, 데이터 추출 등은 복잡한 자연어 이해보다는 정확하고 일관된 실행이 중요하다. 이런 영역에서는 SLM이 비용과 성능에서 더 적합하다. 또한 다양한 툴과 연계 시에는 정해진 포맷과 규칙을 정확히 지키는 것이 중요한데, SLM은 특정 형식에 맞추어 학습시키기 용이해 높은 신뢰성과 일관성을 확보할 수 있다.
뿐만 아니라, 에이전트 AI 서비스가 다양한 산업군으로 확산됨에 따라 각기 다른 요구사항을 충족해야 하는 상황이 빈번하다. LLM은 범용성이 장점이지만 이러한 특수성을 반영하기는 쉽지 않다. 반면 SLM은 소형 모델 특성상 유연하게 커스터마이징이 가능해 빠르게 변화하는 시장 환경에 발맞춘 대응이 가능하다.
3. 멀티 모델 구조와 SLM 전환 전략
AI 에이전트 시스템은 처음부터 다양한 크기의 모델을 조합해 사용하는 것이 자연스럽다. 핵심 에이전트는 LLM이 담당하되 반복적인 서브 태스크는 SLM이 처리하는 방식이 일반적이다. 또는 전면적으로 SLM 중심으로 설계해 필요할 때만 LLM을 호출하는 구조도 가능하다. 이런 멀티 모델 구조는 비용과 성능을 균형 있게 조율할 수 있으며, 시스템 확장성 측면에서도 유리하다.
엔비디아는 LLM을 SLM으로 전환할 때 구체적인 절차까지 제시한다. 먼저 실제 사용하는 프롬프트와 응답 데이터를 수집하고 개인정보 제거 및 정제를 거친다. 이후 패턴 분석으로 반복적인 태스크를 정의하고, 최적화된 SLM을 선정해 파인튜닝을 진행한다. 이러한 절차를 반복하면 LLM 대비 훨씬 가볍고 경제적인 AI 에이전트를 구축할 수 있다.
논문에서는 MetaGPT, Open Operator, Cradle 같은 오픈소스 에이전트 프레임워크에 대해 LLM-to-SLM 전환 가능성을 분석했다. 결과적으로 전체 쿼리 중 40~70%까지 SLM으로 안정적으로 처리할 수 있다고 평가한다. 이는 SLM 활용 여지가 매우 크다는 점을 보여준다.
| 에이전트 프레임워크 | 주요 목적 | LLM 호출 주요 역할 | SLM으로 대체 가능한 비율 |
| MetaGPT | 다중 에이전트 기반 소프트웨어 회사 시뮬레이션 | 역할별 코드 생성, 문서화, 계획 수립, RAG 기반 생성 | 약 60% |
| Open Operator | 워크플로 자동화 에이전트 | 사용자 명령 파싱, 실행 흐름 제어, 보고서 생성 | 약 40% |
| Cradle | GUI 기반 컴퓨터 제어 에이전트 | 화면 해석, GUI 작업 계획 수립, 오류 처리 | 약 70% |
그렇다면 왜 아직 LLM 중심 에이전트가 시장 주류일까? 엔비디아는 크게 세 가지 장애 요인을 지목한다. 첫째, 이미 LLM 중심 인프라에 대규모 투자가 이루어졌다는 점. 둘째, SLM 설계 및 평가에 여전히 LLM 기준 벤치마크가 사용되고 있다는 점. 셋째, SLM에 대한 시장 인식과 홍보가 부족하다는 점이다.
그러나 개인정보 보호 강화, 에너지 절감, 엣지 AI 트렌드가 부각되면서 이러한 흐름은 빠르게 변화할 가능성이 높다. 실제로 엔비디아는 고성능 SLM 모델과 엣지용 inference 시스템을 활발히 개발 중이다. 또한 클라우드 서비스 업체들도 SLM 전용 인프라나 SLM 최적화 솔루션을 속속 선보이고 있어 산업 전반에서 변화를 주도하는 움직임이 관측된다.
결론: 에이전트 AI 전략의 새로운 패러다임
AI 에이전트는 향후 기업의 업무 방식과 생산성을 획기적으로 바꿀 핵심 기술로 주목받고 있다. 이 과정에서 LLM 중심의 과거 패러다임에서 벗어나, SLM 기반의 경제적이고 유연한 전략으로 변화하는 것이 필연적이라는 전망이 나온다.
SLM 중심의 에이전트 AI는 비용 절감, 빠른 응답 속도, 엣지 디바이스 대응, 개인정보 보호, 친환경 AI 인프라 구축 등 다양한 측면에서 차별화된 장점을 제공한다. 특히 점점 더 고도화되는 기업의 디지털 워크플로와 복합적인 툴 연계 환경에서는 가볍고 전문화된 SLM이 더욱 빛을 발할 가능성이 크다.
따라서 지금 AI 에이전트 기술 전략을 고민하는 기업과 개발자라면, SLM 도입과 활용 가능성에 대한 진지한 검토가 필요한 시점이다. 또한 에이전트 AI 시장에서 경쟁력을 확보하기 위해서는 SLM 중심 아키텍처로의 전환을 통해 보다 효율적이고 지속가능한 서비스를 설계할 역량이 요구될 것이다. 이제는 ‘작지만 강한 AI 에이전트’가 실질적인 산업 경쟁력으로 떠오르고 있다.
🙌 SLM & LLM 모델 개발 역량 업그레이드 하고 싶다면?
