하이퍼클로바X, 한국판 AI 평가 최고점 기록해

[더테크=조재호 기자] 하이퍼클로바X가 국내 언어모델 연구팀의 인공지능(AI) 성능 평가 지표에서 GPT나 Gemini보다 높은 평균 점수를 기록하면서 경쟁력을 입증했다. 네이버클라우드는 27일 하이퍼클로바X가 한국판 AI 성능 평가 체계인 ‘KMMLU(Measuring Massive Multitask Language Understanding in Korean)’에서 오픈AI의 GPT나 구글의 제미나이보다 높은 점수를 기록하며 소버린 AI로서 우수한 성능 경쟁력을 확인할 수 있었다고 밝혔다. KMMLU는 국내 대표적인 오픈소스 언어모델 연구팀인 ‘해례(HAE-RAE)’가 이끈 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학·기술 등 45개 분야와 수학적 추론 능력과 같이 세계에서 공통으로 적용되는 지식을 묻는 문항 비중이 80%, 한반도 지리와 국내법 등 국내 특화 문제 문항 20%로 AI의 보편적 능력과 로컬 지식을 고르게 측정해 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다. 오픈AI나 구글 등 북미 기술 기업들이 자사 AI 성능을 확인하기 위해 사용하는 지표인 MMLU를 번역하는 경우, 문항의 부정확한 번역과 함께 문제에 내재된

• 조재호 기자
• 2024-02-27 09:38