파라미터를 적게 만들어 폰이나 노트북에서도 도는 언어 모델이에요.
소형 언어 모델은 파라미터가 수백만~수십억 개 정도인 언어 모델이에요. 파라미터가 수천억 개를 넘기도 하는 대형 언어 모델에 견줘 부르는 이름이에요.
몸집이 작으니 메모리와 전기가 덜 들고 빨라서, 인터넷 없이 폰이나 노트북 안에서 돌릴 수 있어요. 작은 대신 학습 자료를 꼼꼼히 골라 읽히거나, 큰 모델의 답을 보고 배우게 해서 실력을 끌어올려요.
2024년 4월 마이크로소프트의 phi-3-mini는 파라미터 38억 개로 MMLU 69%를 내 Mixtral 8x7B급이라고 주장했어요. 하지만 보고서 스스로 사실 지식을 많이 담을 그릇이 없다며, 상식 퀴즈 TriviaQA 점수가 낮다고 밝혔어요.
비유로 보면
학교 매점과 대형 마트를 떠올려 보세요. 매점은 교실 바로 옆이라 쉬는 시간에도 금방 다녀오지만, 파는 물건 가짓수는 적어요. 소형 언어 모델은 가까이 두고 빨리 쓰는 매점 같은 모델이에요.
예를 들면
메타의 Llama 3.2 1B·3B처럼 폰 같은 기기에서 돌리라고 내놓은 공개 모델은, 내려받아 내 노트북에서 직접 돌려 볼 수 있어요.
자주 하는 오해
오해소형 언어 모델은 큰 모델을 만들 여력이 없을 때 대충 만든 모델이다.
실제로는큰 회사도 일부러 작게 만들어요. 메타는 Llama 3.2 1B·3B를 만들 때 더 큰 Llama 3.1 8B의 일부를 잘라 내고(가지치기), 8B·70B 모델의 답을 보고 배우게(증류) 했다고 밝혔어요. 좋은 작은 모델을 만드는 데 오히려 큰 모델이 쓰인 셈이에요.
오해소형 언어 모델이면 어떤 폰에서든 그냥 돌아간다.
실제로는30억 개짜리라도 숫자 하나를 16비트(2바이트)로 담으면 가중치만 약 6GB예요. 그래서 폰에 넣을 땐 양자화로 더 줄이는데, phi-3-mini는 4비트로 줄여 약 1.8GB가 됐어요. 파라미터 수(10억 단위)에 2를 곱하면 16비트일 때 필요한 GB를 어림할 수 있어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
2.1B~32.5B 카나나 언어모델 라인업의 학습 과정을 공개하면서 그중 경량 모델을 연구 목적으로 내놓은 카나나 계열의 첫 오픈웨이트
11B·90B는 Llama 계열 최초로 이미지 입력을 지원하는 모델이고, 1B·3B는 기기 내 실행을 겨냥한 경량 모델로 함께 공개됨