2021년, 24개 조각

알고리즘 등록 제도와 개인화 추천 거부권

픽셀이 아닌 잠재 공간에서 확산해 연산량 급감, Stable Diffusion의 직접 기반

late interaction을 실용 규모 인덱스로 끌어내린 후속

FSDP1의 재설계. FP8 학습·부분 동결·컴파일러 최적화가 가능해진 전제

137B가 zero-shot에서 175B GPT-3를 25개 중 20개 태스크에서 상회

위치 임베딩 없이 선형 편향만으로 외삽, RoPE와 양대 노선

커널 작성을 소수 전문가에서 일반 연구자로 개방

어휘 검색을 신경망으로 학습 가능하게 만든 축. 밀집 대 희소의 이분법을 무너뜨림

벡터DB가 벤더 제품이 아니라 재단 거버넌스 오픈소스 인프라로 성립함을 보인 사건

가중치를 동결하고 저랭크 행렬만 학습해 GPT-3 175B 기준 학습 파라미터를 1만분의 1로, 추론 지연 증가 없음

네이버가 한국 최초의 초대규모 AI이자 AI 주권 확보 수단으로 내세운 비공개 모델로, 이후 하이퍼클로바X로 이어짐

대부분의 언어 모델과 달리 대화로 학습했고, 학습 후 미세조정으로 응답의 합리성(sensibleness)과 구체성(specificity)을 크게 높일 수 있었다고 밝힘

EU 최초 포괄 AI 규제의 출발점

벡터 검색을 별도 DB가 아닌 기존 Postgres 안으로 끌어들인 경로의 시작

회전 위치 임베딩이 이후 모든 컨텍스트 확장 기법의 토대가 됨

밀집검색이 어휘검색을 이겼다는 서사에 대한 결정적 반박. 하이브리드 검색이 기본값이 된 실무적 근거

GPU 메모리 벽을 스토리지 계층까지 확장해 우회. 메모리가 아니라 대역폭이 제약이라는 프레이밍 확립

AI 랩 CEO가 재분배 정책을 직접 설계해 제시한 최초 사례

확률적 앵무새가 LLM 회의론 진영의 표준 어휘가 됨. 이해·의미 논쟁의 기준선을 설정

벡터DB를 독립 제품 카테고리로 처음 상업화. 이후 Weaviate·Qdrant·Chroma·Milvus의 시장 형성을 촉발

대형 모델 학습의 하드웨어 진입 장벽을 낮춘 계보의 시작

MoE를 단순화하고 라우팅 불안정·로드밸런싱 손실의 표준 레퍼런스가 됨

텍스트에서 이미지 생성의 출발점

이후 이미지 생성·검색 모델의 텍스트 조건화 백본. 4억 쌍 대조학습은 논문 arXiv:2103.00020 근거