2023년, 127개 조각

추론 비용을 목적함수에 포함해 오늘날 overtraining 규범의 이론적 근거를 제공

일본 저작권법 30조의4 같은 TDM 면책 조항이 한국에 없음을 정부 문서가 스스로 확인. 한일 학습데이터 법제의 비대칭을 규정한 문서

언론사 최초의 대형 학습데이터 소송

자사 발표 기준 공개 시점 Hugging Face Open LLM 리더보드 1위에 오른 국내 스타트업 모델로, 1위 점수인 평균 74.2점은 지시 조정 모델(SOLAR-10.7B-Instruct)의 기록이며 베이스 모델은 66.04점

약한 감독자로 강한 모델을 이끌 수 있는가라는 scalable oversight 실험 패러다임

프리픽스 KV 캐시를 radix tree로 자동 재사용

Sparse MoE를 오픈 생태계 표준 아키텍처로, 총 대 활성 파라미터 개념을 각인

흔히 AI Act 통과로 잘못 인용되는 날짜

인코더 후접합이 아니라 처음부터 모든 모달리티를 함께 사전학습하는 노선 선언

ASE조차 후공정 검사 AI의 정량 성과를 공개하지 않는다는 사실 자체가 벤치마킹 기준

선형 시간 시퀀스 모델링으로 Transformer 이후를 진지한 선택지로 만듦

prefill-decode 분리 계보의 최초 제안

중간 체크포인트까지 공개한 DeepSeek의 범용 언어 모델로, 자사 평가 기준 67B Base가 추론·코딩·수학·중국어 이해에서 Llama 2 70B Base를 앞섰다고 밝힘

AI 재료 발견의 상징이자 이후 최대의 재현성 논쟁 대상

LLM을 모델이 아니라 OS 커널로 보는 프레임을 확산시켜 이후 에이전트·툴콜링·컨텍스트 관리 논의의 공용 은유가 됨

466개 질문에서 인간 92% 대 플러그인 GPT-4 15%, 평가축을 어려운 시험에서 실용 능력으로 이동

커뮤니티 테스트가 사실상 표준 평가로 정착, 선언된 길이와 실제 회상 성능이 다르다는 인식 확립

컨텍스트 길이 경쟁이 20만 토큰대로 진입

검색으로 못 푸는 난이도를 설계 원리로 삼아 확장가능 감독 연구와 연결

역할·목표·태스크를 명시 부여하는 구조화된 멀티 에이전트, 완전 자율을 포기하고 워크플로를 설계하는 전환

연산이 아니라 메모리 용량·대역폭을 세대 차별점으로 내세운 첫 제품

바꿔쓰기·번역만으로 n-gram 디컨터미네이션이 무력화되고 HumanEval의 8~18%가 공개 코퍼스와 중복

에이전트가 실험에서 플랫폼 제품 전략으로 편입

직접 만든 RAG 파이프라인이 플랫폼 기본 기능으로 흡수되기 시작한 분기점

첫 제품. 위트와 반항적 기질을 명시적 설계 목표로, X 플랫폼 실시간 지식을 차별점으로 제시

국제 AI 안전 정상회의 계보의 출발점이자 국제 AI 안전 보고서의 위임근거

긴 문서 임베딩 경쟁을 촉발. 청킹 부담을 줄인 첫 오픈 모델군

구속력 없는 최초의 다자 프런티어 AI 규범

미국 연방 차원의 첫 포괄 AI 행정조치

FP8 학습이 대형 모델에서 실제로 성립함을 보인 초기 실증

벤치마크별 오염 측정을 커뮤니티 표준으로 삼자는 제안

규제 회피용 칩 설계와 재규제가 반복되는 사이클의 시작

in-flight batching과 paged attention, FP8을 벤더 스택에 통합

검색을 고정 파이프라인에서 모델 결정으로 옮긴 전환점

크로스 임바디먼트 공용 데이터셋의 출발점

컨텍스트 밖 메모리 관리 계보(이후 memory tool 등)의 원형

이후 코딩 에이전트 개발의 사실상 목표함수가 됨

추상화 단계를 프롬프트로 삽입하는 갈래

프롬프트 작성 대신 프로그램 컴파일로 전환한 프레임워크

Self-Refine/Reflexion 계열에 대한 직접 반박

예시 라벨링 없이 few-shot 효과를 얻는 갈래

초기 토큰이 어텐션 배수구 역할을 한다는 발견, 2년 뒤 gpt-oss가 학습 가능 sink로 채택

GEPA로 이어지는 진화형 프롬프트 최적화 계보

진짜 무제약 라이선스와 유럽발 대항마, 이후 수천 개 파인튜닝의 베이스

이미지 이해가 연구 프리뷰에서 광범위 배포 기능으로 이동

자기검증을 4단계로 구조화해 환각 저감

능력 임계값에 안전조치를 연동하는 최초의 랩 자율 프레임워크

벤치마크와 데이터와 모델을 한 묶음으로 푸는 오픈웨이트 전략이 MTEB 리더보드 판도를 바꿈

Python 문법을 유지하면서 시스템 수준 성능을 노린 CUDA 대안 시도. 컴파일러 경쟁이 언어 계층까지 확장

프롬프트 자동 최적화를 일반 최적화 문제로 정식화

Position Interpolation과 NTK-aware 보간을 통합한 컨텍스트 확장의 사실상 표준 레시피

전용 벡터DB 없이 기존 RDB에서 HNSW를 쓸 수 있게 되어 벡터DB 시장 구도에 직접 영향

Llama 2를 바탕으로 코드·코드 관련 데이터 5,000억 토큰을 학습한 코드 특화 계열로, 70B는 2024년 1월 29일에 추가 공개됨

국내 첫 대형 상용 LLM 계보의 시작

메타데이터와 하위호환을 갖춘 단일 파일 배포 포맷, 로컬 모델 유통의 컨테이너 이미지

ToT의 트리 제약을 그래프로 일반화

에이전트 간 대화로 조합하며 human-in-the-loop를 허용하는 멀티 에이전트 노선

자사 측정으로 Codex 58.7%(Instant 1.1 52.8%), GSM8K 86.7%(80.9%)이며 환각이 줄고 탈옥 저항이 높아졌다고 밝힘

소형 오픈웨이트가 상용 API를 추월하기 시작한 신호

알리바바의 첫 오픈웨이트 언어 모델로, 초기판은 2.2T 토큰으로 학습됐고 2023년 9월 25일 갱신판에서 2.4T 토큰으로 늘어남

SOP를 프롬프트 시퀀스로 인코딩한 조립 라인 방식 멀티 에이전트

로컬 LLM 배포의 사실상 표준 포맷

웹스케일 VLM 지식을 로봇 제어에 직접 전이, VLA라는 범주 자체를 정립

추론 프롬프팅을 지연시간 최적화에 적용한 갈래

실제 동작하는 웹사이트 위 평가에서 GPT-4 에이전트 14.41% 대 인간 78.24%, 데모와 현실의 간극을 못박음

오픈웨이트의 대중화이자 오픈소스인가 논쟁의 시작점

긴 컨텍스트 학습의 실질적 비용을 반감. 32K~128K 컨텍스트 모델이 경제적으로 가능해진 전제

faithfulness를 개입 실험으로 정량화한 방법론

DeepMind·OpenAI·구글 출신으로 구성된 신생 프런티어 랩의 출발점. 설립 인원 명단은 위키피디아 기준이며 xAI 공식 발표문은 미확인

자사 측정으로 Codex HumanEval 71.2%(Claude 1.3 56.0%), GSM8k 88.0%(85.2%), 미국 변호사 시험 객관식 76.5%(73.0%)이며 API 가격은 Claude 1.3과 동일

세계 최초의 생성형 AI 전용 규제

롱컨텍스트를 넣기만 하면 된다는 가정에 대한 첫 대규모 반증

초인간 감독을 명시적 연구 프로그램으로 격상

벤치마크 수치의 비교불가능성을 공개적으로 확인한 사건

1.3B를 7B 토큰으로 학습해 HumanEval 50.6%, 데이터 품질이 양보다 중요함을 실증

KV 캐시를 OS 페이징처럼 관리해 메모리 낭비를 4% 미만으로, 오픈소스 서빙 표준의 출발점

저대역폭 클러스터에서도 ZeRO가 성립하게 만든 개선

생성형 AI 조항이 이 단계에서 추가

도구 호출이 프롬프트 파싱에서 구조화된 JSON 스키마 인터페이스로 승격, 에이전트 개발의 사실상 표준 API

자동 평가·합성 보상의 근거가 되어 후속학습 파이프라인에 직접 유입

잘 정제한 웹 데이터만으로 큐레이션 코퍼스를 능가한다는 주장, MinHash 퍼지 중복제거가 표준 기법으로

활성값 기준 상위 가중치만 보호하는 양자화, TinyChat이 HF FP16 대비 3배 이상

보상모델과 PPO 없이 선호쌍으로 직접 최적화해 오픈소스 정렬을 대중화

MCTS 기반 추론 계보의 기점

4비트 NF4·이중 양자화·페이지드 옵티마이저로 65B를 48GB GPU 한 장에서 파인튜닝

다중 에이전트 토론 계보의 기준 논문

RNN을 Transformer급으로 학습 가능하게 재구성, 선형 복잡도 부활의 신호탄

MHA와 MQA의 절충으로 기존 체크포인트 업트레이닝이 가능해 업계 표준 KV 절약 기법이 됨

선형 CoT를 탐색 문제로 재정의

롱 컨텍스트 경쟁의 출발 신호탄, RAG 없이 문서를 통째로 넣는 선택지의 현실화

Google I/O에서 Bard를 포함한 25개 이상 제품·기능에 적용한다고 발표했으며, 가장 작은 Gecko는 오프라인 모바일 기기에서도 구동된다고 밝힘

CoT faithfulness 반박 계보의 기점

zero-shot CoT의 계산 누락 오류를 계획 단계로 보완

텍스트 기울기 개념의 선행 연구. TextGrad로 이어짐

정답 있는 벤치마크에서 인간 선호 기반 평가로 축을 이동

딥러닝 창시자 중 한 명의 공개 입장 전환. AI 실존 위험 논의가 주변부에서 주류 언론으로 이동한 분기점

창발이 불연속 메트릭의 산물이라는 반박, 연속 메트릭에서는 매끄러운 곡선

3주 사이 세 건의 대형 라운드로 LLM의 장기 기억 서사가 자본시장에서 정점

DeepSpeed 없이도 표준 프레임워크로 대형 학습이 가능해진 분기점

2023년 RAG 붐 시점 벡터DB 자본 유입의 대표 사례

LLaMA 학습 레시피의 공개 재현으로 폐쇄 모델 데이터의 역설계 시대를 염

오픈 VLM 계보의 출발점

LLM 앱 개발자 대상 임베디드 벡터 스토어 카테고리를 만든 사건

25명 에이전트 샌드박스에서 관찰-메모리-반성-계획 아키텍처로 창발적 사회 행동

합성·유출 대화 학습 관행과 LLM-as-judge 평가 문화를 동시에 확립

목표만 주면 알아서 하는 AI 서사를 만든 동시에 무한 루프·환각·비용 폭증을 대중에 노출

외부 감독 없는 반복 개선 루프의 표준 레퍼런스

실행·태스크 생성·우선순위 재조정을 무한 루프로 도는 최소 구조를 제시

CLIP 이후 멀티모달 임베딩의 사실상 후계. 대규모 배치 요구를 없애 학습 접근성을 크게 낮춤

랩이 직접 검색 증강을 제품 표면에 올린 첫 사례, 벡터DB 생태계에 직접 수요 신호

가중치 갱신 없는 언어적 강화학습 계보. v1 제목은 an autonomous agent with dynamic memory and self-reflection

컴파일 기반 최적화가 프레임워크 기본값으로 편입

지시 이해력 상승으로 프롬프트 기교의 한계효용 감소, 경쟁축이 모델·안전성·컨텍스트로 이동

GPT-4와 같은 날 공개되며 경쟁 구도가 프롬프트 기교 바깥으로 이동함을 상징

소액으로 instruction-following 복제가 가능함을 입증

의존성 없는 순수 C/C++ 추론으로 GPU 없이 노트북에서 LLM을 돌리는 길을 염

프롬프트 엔지니어링이 직함과 연봉 밴드를 가진 직업으로 제도화

통제된 배포가 물리적으로 불가능함을 증명, 오픈웨이트 생태계의 실질적 기점

전용 하드웨어 없는 사용자층에서 확산. CPU만으로 실행 가능했던 점이 결정적

프런티어급 가중치를 심사 후 배포한 최초의 대형 시도

LoRA·Prefix/Prompt Tuning을 몇 줄로 연결해 소비자용 GPU 파인튜닝 대중화의 기반

자기지도 학습으로 API 호출 시점·인자를 스스로 학습, 도구 사용을 가중치에 내재화하는 노선

실서비스에서 시스템 프롬프트가 방어선이 되지 못함을 공개 입증

LaMDA 경량 버전으로 시작해 연산 부담을 줄이고 외부 피드백을 모은 뒤 수 주 안에 일반 공개하겠다고 밝힘

토크나이저와 모델 학습 코퍼스의 불일치가 실제 실패 모드임을 대중화

동일 기법의 독립 정식화, 2~2.5배 가속

자연어 프롬프트를 프로그래밍으로 규정한 한 줄. 이후 프롬프트 엔지니어링 담론의 슬로건이 됨. X 원문은 직접 확인하지 못했고 Quote Investigator 문서화에 근거