더테크 (THE TECH) - 대한민국 대표 블루오션 테크 미디어

메타의 신규 LLM '라마 3'와 WIS 2024

주간 'Tech Point’는 금주의 소식을 톺아보고 정리한 뉴스 큐레이션 콘텐츠입니다. 한 주를 돌아보며 독자 여러분께 한 번 더 알려드리고 싶은 소식과 그 외 이슈들을 함께 모아봤습니다. [더테크=전수연 기자] 4월 3주차 ‘주간 Tech Point’는 메타(Meta)의 최신 LLM 소식부터 살펴보겠습니다. 메타는 다양한 목적으로 사용 가능한 LLM인 라마3(Llama 3)를 오픈소스로 공개했습니다. 라마3는 사전 훈련과 미세조정을 마쳐 80억 개(8B)와 700억 개(70B) 매개변수 모델로 구성됐습니다. 두 모델은 대규모 다중 작업 언어 이해(MMLU)를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론, 코드 생성, 지시 수행에 있어 전보다 성능이 크게 개선됐습니다. 라마3는 15초 이상의 토큰으로 훈련됐고 이는 라마2 대비 7배 이상 많으며 코드량은 4배 더 많습니다. 라마3의 사전 훈련에는 일상 질문부터 과학, 기술, 공학, 수학 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용됐습니다. 아울러 메타는 오픈소스인 라마3 모델의 안전하고 책임감 있는 개발, 사용을 위한 다양한 안전장치도 마련했습니다. 지시 미세

전수연 기자

2024-04-20 09:00

700억개 매개변수 갖춘 '메타 라마3' 오픈소스 공개

[더테크=전수연 기자] 메타(Meta)가 다양한 목적으로 사용 가능한 최신 LLM 라마3(Llama 3)를 오픈소스로 공개했다. 메타는 사전 훈련과 미세조정을 마친 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지를 공개했다고 19일 밝혔다. 메타는 두 모델이 현재 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받는다고 전했다. 대규모 다중 작업 언어 이해(MMLU)를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론, 코드 생성, 지시 수행에 있어 전보다 성능이 크게 개선됐다. 라마3의 성능 향상은 모델의 사전 훈련, 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋의 양을 늘리고 필터링 과정을 거쳐 고품질 데이터만이 선별됐다. 라마3는 15조 이상의 토큰으로 훈련됐고 이는 라마2 대비 7배 이상 많으며 코드량은 4배 더 많다. 또 라마3의 사전 훈련에는 일상 질문부터 과학, 기술, 공학, 수학 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용됐다. 이를 통해 모델은 보다 다양한 영역에서 활용될 수 있다. 또 사전훈련의 규모를 확대하고 고도화된 지시 미세조정(Instruction f