[더테크=조재호 기자] 요즘 기업이 직급과 관련해서 쓰는 표현 중에는 'C레벨'이라는 말이있다. '우두머리' 혹은 '책임자'를 뜻하는 영어 단어 'Chief'를 의미한다.

 

흔히 대표이사를 칭하는 CEO(Chief Executive Officer, 최고 경영자)를 시작으로 2000년대 '닷컴 시대'부터는 IT기업에서 CTO(Chief Technology Officer,. 최고 기술 책임자)라는 직급이 본격적으로 쓰였다. 사업전략과 기술전략을 통합하는 것이 이들의 업무. 이제 IT기업이라면 CTO가 있는 것이 일반적이다. 

 

그런데 인공지능(AI)의 시대가 열리면서 CAIO(최고 인공지능 책임자)라는 직급이 등장했다. AI가 'IT기술의 총아'로 떠오르면서 이를 담당하는 직함이 별도로 만들어진 셈이다. 

 

그런데 CTO라는 직함이 따로 있음에도 굳이 AI를 담당하는 최고책임자가 필요한 이유는 무엇일까. 이에 대한 궁금증을 풀기위해 기업용 AI 시장에서 두각을 보이고 있는 올거나이즈의 신기빈 CAIO를 만났다. 이와 함께, 현재 진행중인 AI의 흐름에 대한 그의 생각도 들어볼 수 있었다.  

 

올거나이즈라는 기업에 대한 소개를 부탁드립니다.

 

올거나이즈는 AI 기술을 활용해 사무직의 생산성 혁신을 위한 제품을 서비스하는 기업입니다. 현재 한국과 미국, 일본 등  3개국에서 비즈니스를 진행하고요. 대표적인 제품으로는 기업용 AI인 ‘알리 LLM Ops’와 OpenAI의 GPT와 연동해 생성형 답변을 제공하는 ‘알리 GPT’가 있습니다.

 

최근 테크 혹은 IT 기업들을 보면 CAIO(최고AI책임자)라는 직함이 존재합니다. 직함에  AI가 들어가 있다는 것이 흥미로운데요. 어떤 일을 하시는지 궁금합니다.

 

정의상 최고AI책임자니까 AI와 관련된 모든 사항을 책임지는 직책입니다. 질문에 대해 가장 정확한 답변이라면 CTO(최고기술책임자)와 어떤 차이가 있는지 말씀드리는게 정확할텐데요. AI도 결국 기술은 맞습니다. 하지만 전통적인 AI 기술과 차이점이 있어요.

 

편의상 AI와 비(非)AI 파트. (여기서 더 나아가) 비AI는 전통적인 IT로 나눠보겠습니다. 기존 IT 기술은 AI에 비해 상대적으로 하고자 하는 프로젝트가 있으면 얼마만큼 시간이 걸릴 것인지, 그리고 이러한 방향으로 나아갔을 때 어떤 퀄리티의 제품 혹은 결과를 얻을 수 있을지 예측 가능합니다. 반면 AI는 프로젝트를 진행하고 결과를 낼 때까지 시간이 조금 더 걸립니다. 상대적으로 결과값을 예측하기 어려워요. 그 결과가 왜 안 나왔는지 혹은 잘 나왔는지 판단하기 어려운 특징을 지녔고요.

 

따라서 (AI부문은) 조직 구조나 문화 등을 다르게 구성할 필요가 있고 CTO와 나눠서 일을 진행하고 있습니다. 기존 IT기술과 AI는 프로젝트 기획과 시스템 구축, 운용 등에 있어 다양한 변수가 있습니다. 또, 고객사와 밀접한 커뮤니케이션도 필요하고요. 요즘에는 새로운 모델과 기술들이 빠르게 나오고 있잖아요. 이를 적용하는 과정에서 쌓이는 노하우를 전달하고 리스크관리를 하는 것도 중요한 업무 중 하나입니다.

 

올거나이즈가 3개국에  걸쳐 오피스를 운영하시는 이유가 궁금합니다.

 

저희 비즈니스가 가장 활발하게 진행되는 국가가 일본입니다. 고객사도 매출도 가장 많이 나오는 곳이거든요. 그리고 미국의 경우엔 AI 산업을 주도하는 곳으로 OpenAI 같은 기업이나 Llama를 만든 메타처럼 빅테크의 본산입니다. 이러한 측면에서 보면 한국은 일본과 미국의 중간 정도죠.

 

그렇지만 한국은 개발자들의 능력이 굉장히 좋습니다. 일본은 채용 자체가 어렵고 미국은 빅테크 기업과 경쟁하다 보니 비용 측면에서 어려움이 있습니다. 한국은 개발자 중심입니다. LLM 관련해서는 한국이 굉장히 뜨거웠잖아요. OpenAI의 수장인 샘 알트만이 한국을 방문하기도 하고 구글도 관심을 보이고 있죠. 비즈니스 기회도 많아지는 상황입니다.

 

AI분야에서 국내와 일본 비즈니스엔 어떤 차이점이 있을까요.

 

일본이 상대적으로 SaaS(클라우드 기반의 소프트웨어 제공모델, 사스)에 대한 이해도가 높아 보입니다. 한국 기업들의 경우, 큰 기업일수록 온프레미스(물리적 서버에 직접 설치 및 운영)를 원하세요. 아무래도 서비스 제공자 입장에서도 사스가 운영하기 편리한 점이 있죠.

 

한국은 제품을 설치하고 사용하면서 커뮤니케이션 과정에서 편하게 해주시는 측면이 있어요. 일본의 경우 사후관리를 꼼꼼하게 하는 편입니다. 어떤 고객은 일주일마다 에러로그를 한가득 가져와서 하나씩 설명을 해달라고 하시고요. LLM 같은 최신 기술의 경우는 한국이 미국 다음으로 문의나 진척이 빠릅니다. 일본은 상대적으로 좀 느린 편인 것 같아요.

 

일본의 3대 은행 중 하나인 미쓰이 스미토모(SMBC)가 고객사이자 투자자인데, 어떻게 인연을 맺게 됐나요. 

 

SMBC 담당자들이 데이터라벨링과 AI 트레이닝에 너무 많은 에너지를 쏟고 있다는 이야기와 함께 테스트를 요청했습니다. 기업의 데이터가 학습되지 않은 상태에서 AI를 구동해보는 시험이었죠.

 

그런데 저희 솔루션의 경우엔 76%의 정확도가 나왔죠. 타사가 91%의 정확도의 시스템을 구축하는데 6개월이 걸렸는데 올거나이즈는 PoC(Proof of Concept, 개념실증)을 진행하면서 2주 동안 4000건의 FAQ 문서를 학습해 93.4%의 정확도를 기록했고 계약이 진행됐습니다.

 

이후 연간 상용 계약 70여개를 진행 중입니다. 그리고 저희 솔루션의 비전을 보고 투자까지 진행되면서 고객사이자 전략적 투자사가 됐습니다. 6월부터는 AI OCR(Optical Character Recognition, 광학 문자 인식) 솔루션인 ‘알리 포 그린’ 등의 협업을 이어가고 있습니다.

 

올거나이즈의 핵심 비즈니스 모델이 궁금합니다.

 

알리 답변봇과 알리 GPT가 있습니다. 그리고 sLLM 관련한 사업 모델을 준비하고 있습니다. 저희는 LLM 인에이블러(enabler, 시스템 구축에서 핵심기술·모듈) 역할이라고 표현하는데, 꼭 GPT가 아니더라도 구글이나 메타 등의 LLM 모델을 활용해 프롬프트나 UI를 비롯한 종합 서비스를 준비하고 있습니다.

 

LLM Ops로 앱 빌딩과 프롬프트 관리, 매니지먼트도 가능합니다. 저희가 이번에 ‘알리 LLM 앱 경진대회’를 진행하는 이유 중 하나도 AI를 활용한 다양한 가능성을 담아내는 과정에서 저희의 부족함을 찾아가고 이를 지원하려는 방안 중 하나입니다. 제품을 계속 발전시켜가는 과정이라고 봐주시면 될 것 같아요. 열심히 개발하고 있습니다.

 

최근 sLLM이라는 용어가 등장한 것 같습니다. 기존 LLM과 어떤 차이가 있을까요.

 

작은 언어모델이라는 의미인데, 다소 모순적인 용어입니다. s가 스몰인데, LLM이라는 단어 자체에 첫 L이 라지라는 의미가 있으니까요. 롱숏텀 메모리(Long Short-Term Memory, 장단기메모리)라는 용어도 있네요. 개인 혹은 소규모 단체에서 돌리기 힘든 부분을 소형화한 것입니다. GPT3만 되도 데이터센터 규모니까요.

 

AI 기술이 발전하면서 sLLM이 의미를 갖는 부분은 경량화입니다. 메타의 Llama가 대표적이죠. 언어모델 관련 기술의 세부 사항을 공개하지 않는 OpenAI나 구글과 상반된 행보입니다. 오픈소스 진영에선 이를 따라간 거죠.

 

sLLM의 특징 중 하나는 적은 데이터를 학습시켜도 그 모델이 낼 수 있는 최고의 성능을 내는 것입니다. 여기에 좋은 데이터로 학습을 하면 그 효율이 더 상승하고요. 시간과 비용 측면에서도 유리한 편입니다.

 

올거나이즈 서비스 특징은 사무직의 고도화와 자동화에 있는 것 같습니다.

 

'AI가 사람을 대체하는 게 아니라 AI를 잘 쓰는 사람이 그렇지 못한 사람을 대체할 것'이라는 이야기가 있습니다. 저도 동의하는 유명한 말입니다. 절대적인 일자리는 줄어들 수 있겠죠. 어떤 일이나 직종이 대체되기보다는 AI를 잘 다뤄서 효율적으로 하는 사람이 그렇지 못한 사람의 일을 빼앗아 두세 배를 하겠죠.

 

저희는 이러한 AI를 학습시키는 일을 합니다. 그러기 위해서는 데이터를 만들고 정제하는 것이 굉장히 중요합니다. 이전까진 이러한 데이터를 사람이 직접 만들었어요. 그렇지만 얼마 전부터 GPT에게 문서와 질문을 주고 답변하게 했죠. 일반적인 사무직이나 숙련도가 있는 전문가보다도 수십, 수백배 빠른 속도로 답변이 생성됩니다.

 

그렇다고 기계가 생성한 답변을 그대로 믿을 순 없습니다. 사람이 하나하나 검수해야 하죠. GPT 자체도 할루시네이션(Hallucination, 허위 정보)을 만드는 문제가 있으니까요. 여기서 사람이 직접 답변을 만드는 것과 검수를 진행하는 시간은 절대적으로 차이가 나죠. 예전 같으면 열흘이나 보름이 걸릴 일을 하루면 해결할 수 있는 거죠. 생산성의 혁신이 일어나는 겁니다. 하지만 마지막 단계에서의 검수는 꼭 사람이 필요합니다. 이는 대체 불가능한 영역이라고 생각합니다.

 

퀄리티 부분에서도 정성 평가를 진행하는데 생성한 답변의 완성도도 좋아요. 문장 자체도 어색하지 않고 맞춤법도 사람보다 나아요. 10%정도는 걸러야 하는데 90%정도의 정확도라면 충분히 효율적으로 보입니다.

 

기업이 AI를 도입하려는 이유가 일자리에 대체보다 유용한 협업툴로 보입니다. 일반적으로 사람들이 기대하면서 우려하는 일자리 대체와는 다소 거리가 있는 것 같습니다.

 

예 그렇죠. 인건비나 시간을 절약한다는 것만으로도 충분히 의미 있는 변화입니다. 저희 같은 활용 사례가 많이 알려지면 오해나 다소 부풀려진 부분도 좋아질 것으로 보입니다. 산업계나 기업의 이야기를 들어보면 다들 효율적인 도구로 생각하지, 완벽하게 사람을 대체할 수 있다고 생각하진 않거든요.

 

예를 들자면 콜센터 같은 곳에서 본인 확인 업무처럼 단순한 업무를 시작으로 AI를 활용한 답변 목록을 상담사에게 보여주고 응대하는 것만으로도 업무 능률이 올라갑니다. 상담사가 답변을 찾는 시간을 10초, 20초만 줄여줘도 생산성이 향상되니까요. 인건비가 중요한 곳에선 이런 작은 부분이라도 모이면 엄청난 효율을 지닙니다.

 

주민등록등본처럼 간단한 민원도 예전 같으면 동사무소에서 떼와야 했지만 이제는 한밤중에도 인터넷을 사용하면 간편하게 출력할 수 있습니다. 저희 부모님 세대에겐 어렵고 저희 아래 세대에겐 당연한 부분이겠죠. 이러한 흐름으로 편의를 제공하는 방향으로 갈겁니다. 거스를 수 없는 대세라는 게 있잖아요. AI를 통한 혁신도 자연스럽게 진행될 것으로 봅니다.

 

올거나이즈의 서비스를 살펴보면 AI는 도입만큼 관리도 중요할 것 같습니다. 고객사 입장에선 도입 컨설팅부터 담당자 교육과 함께 사용법에 대한 안내가 필요해보입니다.

 

앞서 설명한 LMM 인에이블러라는 개념에 포함될 것 같습니다. 새로운 시스템을 교육 없이 자연스럽게 쓸 수 있는 것을 목표로 하지만 교육이나 컨설팅 같은 부분이 필요하겠죠. AI 시스템을 도입하면서 아무런 설명이 없다면 실망할 수도 있습니다.

 

AI가 잘할 수 있는 일과 학습을 해야만 잘할 수 있는 일, 그렇지 못한 일을 구분하고 학습을 시킬 때 어떤 데이터를 통해 학습해야 하고 답변을 도출하는 방식에 대해 컨설팅하는 역할도 포함되죠. 고객사의 상황이나 용도에 따라 달라집니다.

 

최근 챗GPT의 이용자 수가 감소세로 돌아섰다고 합니다. 전 세계적으로 센세이션을 일으켰던 만큼 하락 폭에도 많은 관심이 쏠립니다. 이러한 대중들의 관심을 되돌릴만한 기술이나 서비스는 무엇이 있을까요?

 

(챗GPT의 등장은) 엄청 놀라웠습니다. 마치 세 살짜리 아기가 미적분을 한다는 것과 비슷한 이야기였으니까요. '천재 아니야?' 했겠죠. 그런데 얘한테 수능을 보게 했더니 수학을 반밖에 못 맞추는 거예요. 기대와 실망이 교차하는 순간입니다. 하지만 성장하면서 많은 것을 배우고 더 잘할 거란 말입니다.

 

AI도 마찬가지일 것 같아요. 엄청나게 발전할 겁니다. 이제 고작 8~9개월이 지났어요. 그동안의 발전 속도는 어떻게 표현하기 힘들 정도입니다. 그리고 이제 관심도의 문제가 아니라고 생각합니다. 어떤 서비스가 AI를 쓴다고 강조하지 않아도 자연스럽게 스며들겠죠.

 

인터넷을 보세요. 우리가 쓰는 서비스에 인터넷이 연결된다고 홍보하지 않아요. 그건 당연한 거니까요. 당장 구글 검색도 AI 기술이 들어가 있습니다. 그런데도 아무도 신경쓰지 않죠. LLM 관련 기술도 그렇게 될 겁니다.

 

마지막으로 하고싶은 이야기가 있을까요.

 

저희는 사무직이 처리하는 문제를 다룹니다. 이 문제는 많은 문서를 대상으로 하고 대부분 시간을 문서에서 정답을 찾는데 보내고 있을 겁니다. 저희는 그것에 집중해서 해결책을 탐색하고 제안합니다.

 

앞으로 이런 세상이 열릴 것이라는 부분에 대해서 계속 조금씩 말씀드렸는데요. 그런 세상이 올 것이고 와야 한다고 믿습니다. 개인적인 바람으론 그런 사회에서 올거나이즈가 중요한 역할을 할 수 있는 세상이 되었으면 좋겠습니다.

 

아울러 채용을 적극적으로 진행하고 있으니 많은 관심 부탁드립니다. 감사합니다.

 

신기빈 CAIO는... 2005년 네이버의 소프트웨어 개발자로 입사해 Naver LABS(前 성능엔지니어링랩)을 거쳐 라인에서 근무했다. 2021년부터 올거나이즈의 공동 창업자이자 이사로 재직 중이며 CAIO를 겸직한다. 딥러닝 분야와 이를 활용한 서비스 구현에 강점을 지녔다.   2011년 DNN(Deep Neural Network, 심층 신경망)을 접하고 음성인식 엔지니어 활동을 시작으로 AI를 접했다. cuda를 이용한 FFNN(Feed-forward Neural Network, 순방향 신경망)을 직접 구현하고 프레임워크 등을 개발하고 Multi GPU를 활요한 학습 연구도 진행했다.