카카오, 경량 언어모델 ‘카나나-2 SML’ 4종 오픈소스로 공개

카카오가 자체 개발한 AI 모델 ‘카나나(Kanana)’의 경량 언어모델(SLM)을 오픈소스로 공개했다.

카카오는 28일 허깅페이스에 스마트폰과 같은 디바이스에서 구동할 수 있는 경량 언어모델(SLM) 4종을 오픈소스로 공개했다고 밝혔다. 

이번에 공개한 모델들은 작은 크기에도 한국어와 영어 모두에서 글로벌 수준의 성능을 구현한 것이 특징이다. 유사 크기의 최신(SOTA) 오픈소스 모델 대비 한국어, 영어, 지식, 수학, 코드 등 대부분의 대표 벤치마크에서 우수한 성능을 기록했다. 

특히 오픈소스로 공개한 카나나-2-1.3B-인스트럭트와 함께 개발한 더 작은 사이즈의 카ㅋ나나-2-0.9B-인스트럭트는 대화, 지식, 코드, 수학, 지시이행, 툴 호출 등 실제 서비스 활용 역량에서도 Qwen, Gemma 등 동급 글로벌 모델과 경쟁력 있는 성능을 보였다.

또 카카오가 개발한 한국어 특화 토크나이저(Tokenizer)를 적용해 기존 대비 한국어 처리 효율을 30% 이상 개선했다. 토크나이저는 AI 모델이 텍스트를 처리할 때 문장을 잘게 쪼개는 단위를 결정하는 핵심 기술이다. 

스마트폰과 같이 메모리와 연산 자원이 제한적인 온디바이스 환경에 최적화해 설계된 것도 특징이다. ‘슬라이딩 윈도 어텐션(Sliding Window Attention)’ 구조를 도입해 최대 32K(3만2000토큰, 약 2만4000단어) 길이 수준의 대화에서도 메모리를 최대 72.7%까지 절감하면서 안정적인 성능을 유지할 수 있다.

카카오는 이번 모델을 상업적 활용까지 허용하는 ‘카나나 오픈 라이센스’로 배포한다. 

강동식 기자 lavita@datanews.co.kr