[더테크 이지영 기자] 글로벌 AI 스타트업 투플랫폼이 엔터프라이즈 환경 맞춤형 지식 증류 모델(Distilled Model)을 위한 ‘수트라 D3(SUTRA D3)’ 프레임워크를 27일 공개했다. 수트라 D3를 통해 제한된 데이터와 적은 비용으로도 도메인에 특화된 모델을 만들 수 있고, 쉽고 빠른 배포까지 가능하다는 설명이다.
투플랫폼은 삼성전자 최연소 임원이자 인도의 천재 과학자인 프라나브 미스트리가 지난 2021년 설립한 글로벌 AI 스타트업이다. 텍스트부터 음성, 비주얼, 검색까지 다양한 기능의 모델을 자체 개발해 B2B 시장을 중심으로 AI 솔루션 비즈니스를 확장하고 있으며, 최근에는 자사의 AI 챗봇 ‘챗수트라(ChatSUTRA)’가 정식 출시 한달여 만에 이용자 100만명을 돌파하면서 개인 유저와의 접점도 늘려 나가고 있다.
‘지식 증류’는 최근 업계에서 각광받는 개념이다. 거대언어모델을 파인튜닝(fine-tuning)해 실제 업무 환경에 적용할 때 발생하는 문제점을 해결할 수 있기 때문이다. 범용으로 만들어진 거대한 모델을 각 현장의 고유한 특성에 맞게 파인튜닝하는 기존의 방식은 높은 비용과 낮은 확장성, 느린 대응 속도 등의 문제를 안고 있었다. 반면 지식 증류 방식은 대형 모델의 출력값을 모방해 소형 모델을 훈련하는 방식으로 비용은 줄이면서도 도메인 특화 환경에서 뛰어난 성능을 유지한다. 급변하는 환경에 맞춰 필요한 모델을 신속하게 만들고 배포하는 것도 가능해 가장 이상적인 AI 도입 방안으로 부상 중이다.
투플랫폼은 이러한 AX시장의 요구에 따라 발빠르게 지식 증류 프레임워크 ‘수트라 D3’를 공개했다. 수트라 D3는 Distillation(지식 증류), Domain(도메인 특화), Data(데이터 중심 학습)를 바탕으로 기업에서 즉시 활용 가능한 경량 AI 모델을 만들어 낸다.
특히 대형 모델이 생성한 합성 데이터로 각 도메인에 맞는 정밀한 모델 학습이 가능해 데이터가 부족한 산업군에서 더욱 강점을 발휘한다. 병원에서의 AI 도입을 예로 들면 실제 환자의 의료 기록 대신 대형 모델이 만들어낸 가상의 기록을 바탕으로 특화 증류 모델을 만들고, 이 모델을 활용해 다국어 의료 기록을 정밀하게 분석하는 AI 솔루션을 구축하는 방식이다.
적은 비용으로 성능을 극대화하는 것 또한 수트라 D3의 특장점이다. 대형 모델 대비 1/10 수준의 경량화된 규모로 온프레미스나 엣지 환경에서 부담없이 구동 가능하면서도 성능은 유지해 인프라 비용에 대한 부담이 현저히 줄어든다. 합성 데이터 사용으로 실제 데이터를 수집하고 라벨링하는 비용도 절감 가능하다. API형 서비스뿐만 아니라 온디바이스, 온프레미스까지 유연하게 지원하는 배포 환경 또한 API 호출 비용을 아껴주는 동시에 각 기업 고객의 상황에 딱 맞는 모델을 간편하게 구축하도록 지원한다.
프라나브 미스트리 대표는 “범용 LLM의 시대가 지나고, 이제 AI 트렌드는 실무에 최적화된 경량 모델로 옮겨가고 있다”며 “증류 모델은 경량화, 비용, 내부 데이터 특화 등 모든 측면에서 기업 환경에 도입하기에 가장 적합한 형태이며, 수트라 D3가 기업 고객을 위한 최적의 AX 파트너가 될 수 있을 것”이라고 전했다.
