프롬프트 엔지니어링

Claude Code에서 좋은 프롬프트를 쓰는 사람은 실력이 아니라 프롬프트 마스터라는 스킬 하나를 설치했을 뿐이라는 것이 이 짧은 클립의 요지다. 최소한의 입력만 줘도 건드릴 파일, 출력 형식, 멈춰야 할 시점까지 채운 완성된 프롬프트로 바꿔 주고, 과거 결정을 기억해 토큰 낭비 패턴을 대조·체크해 준다는 것이 내세우는 기능이다. 프롬프트 자동완성이라는 아이디어 자체는 흥미롭지만 35초 분

슬라이드를 PPT 대신 단일 HTML 문서로 만들면 글꼴이 깨지지 않고 파일이 가벼우며 마우스를 올렸을 때만 반응하는 요소까지 넣을 수 있다는 정리가 제시된다. 성패는 프롬프트 골격에 달려 있어, 폰트와 컬러 4종, 16:9 비율, 레퍼런스 이미지라는 네 기준을 먼저 고정하고 '화면 크기가 달라져도 비율을 유지한 채 전체가 확대·축소되게 해 달라'는 한 줄을 반드시 넣으라는 조언이 핵심으로

랩이 공식 권고를 바꾼 기록. 2023년의 역할 프롬프트 관행이 공식적으로 후퇴했다

추론 예산 제어가 연구 기법에서 서빙 계층의 문제로 내려온 지점

2023년 이후 파편화된 ToT 변형들을 고전 탐색 이론으로 묶은 정리

충실성이 하나의 목표가 아니라 서로 당기는 여러 축임을 보임

Anthropic의 2025-04 불충실성 공개 이후 처음으로 훈련 단계 개입안을 낸 후속

2022년 self-consistency의 비용 구조를 다시 짠 후속

GEPA 계열 자동 프롬프트 최적화의 실패 모드를 처음으로 분리해 보임

CoT를 안전 감시 수단으로 쓰자는 Monitorability 제안의 전제를 직접 시험한 후속

CoT 충실성 논쟁에 메커니즘 층위 증거를 더함

budget forcing(s1) 계열의 추론 예산 제어를 통계적 보증 틀로 형식화

스킬 마켓플레이스를 검증되지 않은 공급망으로 규정한 첫 대규모 실측

옥스퍼드 포지션 논문에 대한 직접 반론. 쌍으로 인용할 것

적응형 공격 대비 성공률 약 1%. 어떤 브라우저 에이전트도 면역이 아니며 문제가 해결됐다고 주장하지 않는다고 명시

CoT 모니터링 낙관론에 대한 공격 측 반례

추론/비추론 모델을 단일 가중치로 통합한 초기 사례. 이후 업계 표준이 되는 방향

프롬프트 엔지니어링이 툴 정의 설계로 이동했음을 보여주는 문서

CoT를 분포 내 패턴 재현으로 설명하려는 반박 계열

프롬프트 진화가 RL 대비 표본 효율에서 경쟁 가능함을 주장

주요 연구소가 공동 서명한 CoT 모니터링 합의 문서

CoT를 설명으로 쓰는 관행 자체를 대상화한 포지션 논문

위 Apple 논문에 대한 즉각적 반박. 반드시 쌍으로 인용할 것

추론 모델의 한계 논쟁을 대중적으로 촉발

모델별 프롬프트 규범이 벤더 문서로 이동한 사례

추론 모델 시대에도 CoT 불충실성이 지속됨을 자사 모델로 확인

정확도-토큰 비용 축에서 CoT를 재검토한 갈래

추론 길이 자체를 프롬프트·디코딩 수준에서 조절하는 기법

프롬프트 엔지니어링 기법이 제품 기능으로 흡수된 지점

수학 추론이 형식적 추론이 아닐 수 있다는 증거

CoT의 적용 범위를 실증적으로 좁힌 반박

DSPy 옵티마이저의 이론적 기반

자동미분 은유를 텍스트 시스템 전반으로 확장

흩어져 있던 기법 계보를 단일 분류체계로 고정. v1 제목은 Survey of Prompting Techniques

CoT 성능 향상이 반드시 추론 내용 때문은 아님을 보인 반박

프롬프트 엔지니어 직무 쇠퇴 서사의 초기 편집 매체 기록

CoT가 프롬프트가 아닌 디코딩 문제일 수 있음을 제시

사람이 프롬프트를 손으로 다듬는 방식의 한계를 실증. 프롬프트 엔지니어링 쇠퇴 서사의 실증 근거

프롬프트 기법 선택 자체를 모델에 위임

추상화 단계를 프롬프트로 삽입하는 갈래

프롬프트 작성 대신 프로그램 컴파일로 전환한 프레임워크

Self-Refine/Reflexion 계열에 대한 직접 반박

예시 라벨링 없이 few-shot 효과를 얻는 갈래

GEPA로 이어지는 진화형 프롬프트 최적화 계보

자기검증을 4단계로 구조화해 환각 저감

프롬프트 자동 최적화를 일반 최적화 문제로 정식화

ToT의 트리 제약을 그래프로 일반화

자사 측정으로 Codex 58.7%(Instant 1.1 52.8%), GSM8K 86.7%(80.9%)이며 환각이 줄고 탈옥 저항이 높아졌다고 밝힘

추론 프롬프팅을 지연시간 최적화에 적용한 갈래

faithfulness를 개입 실험으로 정량화한 방법론

자사 측정으로 Codex HumanEval 71.2%(Claude 1.3 56.0%), GSM8k 88.0%(85.2%), 미국 변호사 시험 객관식 76.5%(73.0%)이며 API 가격은 Claude 1.3과 동일

MCTS 기반 추론 계보의 기점

다중 에이전트 토론 계보의 기준 논문

선형 CoT를 탐색 문제로 재정의

Google I/O에서 Bard를 포함한 25개 이상 제품·기능에 적용한다고 발표했으며, 가장 작은 Gecko는 오프라인 모바일 기기에서도 구동된다고 밝힘

CoT faithfulness 반박 계보의 기점

zero-shot CoT의 계산 누락 오류를 계획 단계로 보완

텍스트 기울기 개념의 선행 연구. TextGrad로 이어짐

외부 감독 없는 반복 개선 루프의 표준 레퍼런스

가중치 갱신 없는 언어적 강화학습 계보. v1 제목은 an autonomous agent with dynamic memory and self-reflection

지시 이해력 상승으로 프롬프트 기교의 한계효용 감소, 경쟁축이 모델·안전성·컨텍스트로 이동

GPT-4와 같은 날 공개되며 경쟁 구도가 프롬프트 기교 바깥으로 이동함을 상징

프롬프트 엔지니어링이 직함과 연봉 밴드를 가진 직업으로 제도화

실서비스에서 시스템 프롬프트가 방어선이 되지 못함을 공개 입증

LaMDA 경량 버전으로 시작해 연산 부담을 줄이고 외부 피드백을 모은 뒤 수 주 안에 일반 공개하겠다고 밝힘

사람 라벨 대신 명문화된 원칙과 AI 피드백으로 행동을 규율, 원칙 문서를 학습 신호로 승격

대화형 UI가 프롬프트를 비전문가에게 개방해 소수 실무자 기술을 대중 현상으로 전환

PAL과 함께 code-as-reasoning 계보 형성

계산을 언어모델 밖으로 내보내는 계보

자동 생성 지시문이 24개 중 19개 태스크에서 사람 작성과 동등하거나 더 나음

CoT 예시 작성의 수작업을 자동화한 초기 시도

추론 기법과 툴 사용을 결합한 에이전트 루프의 표준형. 축3과 상호참조

생성된 추론을 검증·충돌 해소의 대상으로 다룬 초기 사례

예시 없는 CoT. 이후 모든 zero-shot 추론 프롬프트의 원본

분해·계획 계보(Plan-and-Solve, Self-Discover)의 원형

단일 CoT 생성이 아닌 모듈 분해형 추론 계보

test-time 샘플링·투표 계보의 시작. GSM8K +10%, MultiArith +24%

1.3B 출력이 175B GPT-3보다 선호됨을 보여 RLHF를 정렬의 표준 절차로 정착

프롬프트만으로 추론 성능을 바꾼다는 계보 전체의 기점. CoT 예시 8개로 540B가 GSM8K SOTA

프롬프트 엔지니어링만으로는 끌어내기 어려웠던 능력을 열었다고 OpenAI가 직접 서술

137B가 zero-shot에서 175B GPT-3를 25개 중 20개 태스크에서 상회

예시를 보여주는 것이 곧 프로그래밍이라는 방식을 공식 제품 인터페이스로 만듦

파라미터 갱신 없이 프롬프트 안 예시만으로 태스크를 수행하는 in-context learning 제시

손실이 모델·데이터·연산의 멱법칙으로 예측 가능함을 제시해 대규모 투자의 근거가 됨

자연어 지시가 태스크 명세가 될 수 있음을 시사하고 모델 공개 리스크 담론을 염

순환 없이 self-attention만으로 병렬 학습이 가능해져 대규모 사전학습의 구조적 전제가 성립