노타, AI 모델 넘어 ‘에이전트 운영 최적화’로…메타엠과 첫 상용 프로젝트

AI 에이전트 비용·메모리 병목 최적화
AICC서 멀티 에이전트 상용화 착수

 

[더테크 이지영 기자]  AI 모델 경량화·최적화 기술 기업 노타가 개별 AI 모델을 넘어 여러 AI 에이전트를 효율적으로 구동하는 운영 인프라 시장으로 사업 영역을 확대한다. 첫 상용 프로젝트는 대규모 상담 업무에 AI 에이전트를 적용하는 AI 컨택센터(AICC)다.

 

노타는 AICC 전문기업 메타엠과 ‘차세대 AI 상담체계 구축을 위한 공동 개발 계약’을 체결했다고 13일 밝혔다. 여러 AI 에이전트가 동시에 작동하는 기업 환경에서 비용과 응답 속도, 메모리 사용량을 최적화하는 것이 프로젝트의 핵심이다.

 

기업이 AI 에이전트를 고객 상담과 정보 검색, 문서 요약 등 여러 업무에 적용하면 모델 호출과 연산량이 늘어나면서 GPU 비용과 메모리 사용량도 증가한다. 특히 대규모 상담 환경에서는 모델 자체 성능뿐 아니라 실제 서비스에서의 추론 속도와 연산 효율이 운영 비용을 좌우하는 요소로 꼽힌다.

 

양사는 노타의 AI 모델 경량화·최적화 기술과 AI 에이전트 설계 역량에 메타엠의 컨택센터 운영 경험을 결합해 ‘AI 네이티브 멀티 에이전트 상담체계’를 구축한다.

 

고객 의도 분석과 정보 검색, 응대, 상담 요약, 지식관리, 품질관리 등을 역할별 AI 에이전트가 나눠 처리하고 전문 상담사와 협업하는 구조다.

 

노타는 여러 AI 에이전트를 구동하는 공통 AI 엔진과 오케스트레이션, 검색증강생성(RAG) 등 기반 기술 개발을 맡는다. 거대언어모델(LLM)과 추론 엔진에는 자체 경량화·최적화 기술을 적용해 성능 저하를 최소화하면서 연산량과 메모리 사용량을 줄일 계획이다.

 

이를 통해 다수의 AI 에이전트가 동시에 구동되는 환경에서 안정적인 응답 속도를 확보하고 실제 상담 현장의 AI 인프라 운영 비용을 낮추는 것이 목표다.

 

메타엠은 20년 이상 컨택센터를 운영해 온 비즈니스 프로세스 아웃소싱(BPO) 기업으로, 200여 개 이상의 고객사에 서비스를 제공하고 있다. 이번 사업에서는 상담 업무에 필요한 도메인 지식을 제공하고 역할별 AI 에이전트의 특화 기능 구현과 AICC 구축·배포·운영을 담당한다.

 

채명수 노타 대표는 “AI 에이전트 시대에는 AI 모델 자체 성능뿐 아니라 실제 서비스에서 얼마나 빠르고 안정적이며 비용 효율적으로 운영할 수 있는지가 핵심 경쟁력”이라며 “이번 프로젝트는 노타의 AI 모델 최적화 기술이 여러 AI 에이전트를 운영하는 인프라 영역으로 확장되는 이정표”라고 말했다.

 

노타는 이번 AICC 프로젝트를 시작으로 제조·금융·공공 등 AI 에이전트 도입이 확대되는 산업 분야로 운영 최적화 기술 적용 범위를 넓힐 계획이다.

 



배너