NVIDIA, 인도 22개 언어 사전학습 말뭉치 2조 8천억 토큰 공개 예고
NVIDIA, 인도 22개 언어 사전학습 말뭉치 2조 8천억 토큰 공개 예고 — IIT 마드라스 AI4Bharat와 만든 Nemotron-pretraining-Indic-v1과 번역·품질 평가·복구를 묶은 공개 생성 파이프라인을 함께 내놓음
왜 중요한가
자사 설명으로 고유 문자 2조 6,010억 토큰과 로마자 2,246억 토큰을 합쳐 34개 언어·문자 조합을 덮고, 품질 점수 75점 이상만 남겨 되살린 4,384억 토큰을 포함한다. 이 말뭉치 일부로 Nemotron 3.5 Super VL을 이어 학습하자 인도어 평가 다섯 개가 4.98~9.82%포인트 올랐으나 합성 말뭉치만의 효과는 아니라고 단서를 달았다
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
공식 발표huggingface.cohttps://huggingface.co/blog/nvidia/scaling-indic-pretraining2026년 43주차에 더한 기록이에요 · 그 주 보기