루프·하네스 엔지니어링
기록 44개 · 정리 노트 9개 · 관련 축으로 붙은 기록도 함께 보여요.
한 번 부르고 끝나지 않는 시스템을 어떻게 돌릴 것인가
에이전트를 실제로 돌리면 모델보다 그 주변이 더 어렵습니다. 어디까지 시도하고 멈출지, 실패하면 무엇을 다시 할지, 긴 작업에서 무엇을 기억하고 무엇을 버릴지 — 모델을 감싸는 이 껍데기를 하네스라고 불러요. 이 축은 반복 루프의 설계, 중간 상태 관리, 사람이 끼어드는 지점에 관한 기록을 모읍니다. 같은 모델이라도 하네스에 따라 결과가 크게 갈리기 때문에, 성능 주장을 읽을 때 꼭 함께 봐야 하는 축이에요.
매번 고쳐 달라고 부탁하는 대신 그럴 필요가 없는 구조를 파일로 박아 두는 과정을 끝까지 따라 보인 실습이다. 구조는 여섯 갈래다. 말투와 디자인 위계를 적은 기준 문서, 전체 순서와 승인 지점과 산출물 경로를 묶은 규칙 문서, 단계별로 나눈 스킬, 사람이 보고 넘기는 승인 지점, 여백 같은 수치를 기계가 재는 자동 검사, 그리고 고정된 저장 경로다. 순서 설계에서 눈에 띄는 것은 비싼 단계
저자 측정으로 OSWorld-v2에서 평가한 모델 여덟 개의 평균 부분 점수가 19.6점 오르고, 화면 조작만 묶어 실행할 때보다 과제당 단계가 평균 53.0% 줄었다고 보고했다. 구현·프롬프트·평가 기록과 실제 기기용 하네스 초기판을 함께 공개했다
자사 측정으로 단독 Sol 52.1%가 팀을 이루자 61.8%로 올랐고, Sol 대표에 Luna 계획 담당 16명을 붙인 팀은 155달러로 61.8%를 내 모든 단계를 위임한 Sol 전원 팀(510달러·63.2%)의 약 30% 비용이었다. 팀은 단독보다 3~7배 비싸고 과제 하나의 점수가 실행마다 약 6점 흔들린다는 단서를 붙였다
명시한 가정 아래 기대 일반화 상계, 과거 회귀 예산에 조건부인 유지 상계, 새 독립 데이터로 수정안을 받아들이는 고확률 규칙을 제시. 실제 배포에는 학습·실행 권한·중대한 행동에 대한 독립 안전장치가 필요하다고 정리
한 단계만으로 GLM-5·Gemini 3.5 Flash가 기본 하네스보다 WorkBuddy-Bench 최대 11.5점, JobBench 4.5점, LAB 11.8%p 올랐다고 보고. 모델이 아니라 하네스를 스스로 고치는 재귀적 자기개선 연구가 이어짐
하네스 엔지니어링의 최적화 대상이 '무엇을 고치는가'에서 '무엇을 시험하는가'로 넓어졌다. 실패를 패턴으로 추상화해 커리큘럼을 자동 편성한다는 것은 에이전트 개선 루프에서 사람이 시나리오를 고르던 자리를 대체하는 일이고, 재귀적 자기개선(축⑫)과 맞닿는다.
속도가 별도 과금 등급으로 분리된 것이 핵심이다. 지연이 에이전트 루프의 병목이 되면 초당 토큰이 품질과 분리된 상품이 되고, 추론 인프라 투자는 최고 점수가 아니라 등급별 지연 보장으로 회수된다.
스킬을 하네스마다 새로 학습하는 대신 저장소에서 검색해 적응시킨다는 접근으로, 스킬이 모델·하네스에 묶인 산출물에서 이전 가능한 자산으로 바뀐다. 같은 주 ClawScan의 스킬 심사 강화와 함께 보면 스킬이 유통되는 물건이라는 전제가 양쪽에서 굳어지는 중이다.
에이전트를 '요청할 때 도는 세션'이 아니라 '계정에 상주하는 인격'으로 파는 첫 주요 상용 제품이다. 과금 단위가 토큰·좌석에서 에이전트 수로 옮겨 가고, 상시 가동은 권한·감사·격리 설계를 제품 쪽에서 강제한다 — 같은 주 OpenClaw Enterprise·Foundry 이그레스 제어와 같은 문제를 다른 층에서 건드린다.
에이전트가 '사람이 부를 때 도는 것'에서 '스스로 깨어나는 것'으로 넘어가는 운영 기반이 클라우드 제품의 GA가 됐다. 에이전트에 고유 ID를 주는 선택지가 함께 나온 점이 중요한데, 감사 로그의 주체가 사람이 아니라 에이전트가 되면 책임 추적의 단위가 바뀐다.
장기 과제에서 에이전트가 무너지는 원인을 '환경을 못 읽어서'가 아니라 '자기가 만든 낡은 상태 기술이 남아서'로 다시 놓았다. 하네스가 관리해야 할 대상이 도구 호출이 아니라 과제 상태의 수명이라는 뜻이며, 지난주 컴팩션 요약 인젝션 사례와 같은 문제 계열에 있다
자기개선의 대상이 모델 가중치가 아니라 하네스 설정이라는 점이 핵심 — 같은 모델로 비용만 3분의 1 줄이는 여지가 아직 남아 있다는 실측이다.
'하네스는 모델이 강해질수록 얇아져야 한다'를 176개 구성의 실측으로 뒷받침. 축⑤ 루프·하네스 엔지니어링의 설계 지침이 경험칙에서 근거로 옮겨가는 지점이다.
컨텍스트 압축 요약이 모델이 자기 자신에게 남기는 통로라는 점 — 프롬프트 인젝션의 공격자가 외부가 아니라 모델 자신일 수 있음을 프론티어 랩이 처음 수치와 함께 공개했다. 장기 실행 에이전트를 운영하는 쪽에는 요약·메모리 경로가 곧 신뢰 경계라는 뜻이다.
넉 달 전 도구를 용도별로 나눠 썼다던 결론을 공개적으로 정정하면서, 지금은 절차를 강제하는 플러그인을 모두 떼고 생각 강도 한 칸만 조절한다는 정리가 제시된다. 설정 파일에 모델 한 줄과 강도 한 줄만 남긴 이유는 모델이 지금 무엇을 하는지 눈에 보이게 하기 위해서이며, 틀에 감싸 두면 그 틀이 하는 일을 자기도 모르게 된다는 지적이 붙는다. 대신 결정·이유·버린 대안 세 줄짜리 결정 기록
하네스 자기개선의 고질적 문제인 '벤치마크에만 맞춰지는 것'을 데이터 분리로 정면 공격. 하네스가 모델과 분리된 독립 최적화 대상이 되었음을 보여준다.
에이전트 하네스가 제품 기능에서 플랫폼 계약으로 굳어진 지점으로, 루프·샌드박스·서브에이전트 위임이 API 원시 기능이 됐다.
에이전트 과금이 요청 문장의 길이가 아니라 실제 실행 경로의 길이에 붙는다는 정리가 제시된다. 일정 하나를 등록하는 한 문장 요청도 뒤에서는 예약 조회, 화면 읽기, 입력, 저장 확인, 실패 시 재시도로 이어지며, 화면이 바뀔 때마다 새 정보가 통째로 들어가므로 컴퓨터 유즈 비용은 클릭 수가 아니라 화면 정보량과 판단 횟수에 비례해 늘어난다. 절약의 핵심은 프롬프트를 줄이는 것이 아니라 계단
코딩 에이전트의 전장이 신규 개발에서 기업 핵심 자산인 레거시 현대화로 옮겨 갔고, 검증 하니스와 인간 게이트의 결합이 실무 형태로 굳어지고 있음을 보여준다.
11일 만에 1,300만 줄짜리 증명 코드가 만들어졌다는 소식에서 먼저 걷어내야 할 오해는 오래된 난제가 풀렸다는 것이다. 증명 자체는 1994년에 사람이 끝냈고 이번에 이뤄진 것은 사람 언어로 쓰인 증명을 기계가 한 줄씩 검사할 수 있는 코드로 옮기는 형식화다. 논문의 "자명하다" 한 줄이 코드 수백 줄로 불어나기 때문에 수학계에서 몇 년짜리 프로젝트로 보던 일이었는데, 목표를 보조정리로
매일 여덟 시간씩 두 도구를 붙잡고 쓰는 사람이 무엇을 보고 주력을 바꿨는지 항목별로 근거를 대는 비교다. 평가 방법이 하나로 압축되는데, 파일 열 개를 같은 규칙으로 고치게 시켜 여덟아홉 번째에서 처음 규칙을 놓치는지 보는 것이고 여기서 갈린다는 것이다. 더 중요한 판정 기준으로는 성능이 아니라 손이 덜 가는 정도가 제시된다. 모델이 스스로 돌려 보고 깨지면 고친 뒤 결과를 내놓기 시작하면
전문 3D 제작 도구를 익히지 않은 사람이 연동 창구 하나만 붙여 하루 동안 써 본 기록이다. 미뤄 온 이유를 실력이 아니라 복잡한 화면과 기능을 하나씩 익혀야 하는 부담으로 특정하고, 한 벤더가 무료로 배포한 연동 모듈이 그 숙련 요건을 건너뛰게 했다고 제시된다. 더 옮겨 쓸 만한 것은 비용 순서인데, 호출마다 요금이 붙는 생성 모델을 바로 때리지 말고 요금이 붙지 않는 로컬 반복으로 구도
Herdr는 Orca보다 훨씬 가벼운 원격 터미널 서버로, 터미널만 있으면 리눅스 VM에도 쉽게 설치되고 Ghostty를 꺼도 세션이 그대로 살아 있다. 이를 Grok Bot의 가상 머신에 얹으면 맥북 전원과 무관하게 스마트폰만으로 코딩 에이전트를 상시 운영할 수 있다. Grok Bot에게 Codex·Cursor·Hermes·Claude·Grok과 Ghostty·Herdr 설치를 통째로 요청
400개 이상의 프로덕션 에이전트 경험에서 정리됐다는 12-레이어 스택은, 가상의 응급실 트리아지 에이전트에서 각 레이어를 boolean 플래그로 켜고 끄며 실패를 재현하는 방식으로 이해하면 명확하다. 데이터 이해 레이어가 없으면 알레르기 필드가 누락된 채 결정이 내려지고, 컨텍스트 엔지니어링이 없으면 29세와 68세 환자에게 같은 추천이 나오며, 시맨틱 레이어가 없으면 MI 같은 약어가 해
LLM이 뽑아낸 그래프 간선을 그대로 믿지 않고 반사실 개입으로 간선 가중치를 사후 보정한다는 갈래 — 그래프 검색의 고질적 약점으로 지목돼 온 간선 신뢰도 문제를 검색 이전 단계에서 다룬다. 저자 자체 보고로 6개 LLM에 걸쳐 Graph-of-Skills 대비 ScienceWorld 매크로 평균 72.62→80.50, ALFWorld 성공률 80.01%→86.79%이며 환경 스텝 수는 감
Hermes 기반 개인용 멀티에이전트는 소프트웨어를 자율 빌드하는 Coder, Telegram 생산성·건강 코치 LifeBot, 팀 COO 역할의 Taco Bot을 역할별로 분리한 구성이다. Coder는 Mac Studio의 로컬 Qwen 3.6 35B A3B 모델이 Discord 봇을 맡고 스펙 작성과 빌드는 Claude Code를 호출해 위임하는 우회 구조로, Claude 유료 플랜을 A
Codex CLI·app-server·SDK·MCP 오픈소스화로 하네스가 플랫폼 계층으로 확정
inner loop 대 outer loop 프레이밍이 산업 표준 서사로 승격
용어 다의성을 학술적으로 문제화, 모델 순응에 의존하지 않는 통제 기제를 조건으로 제시
하네스가 컨텍스트 엔지니어링의 전달 수단이라는 포함관계 입장
하네스 유발 분산이 모델 유발 분산의 7.80배, 9개 모델쌍 중 6개 순위 역전
vibe coding 확산의 핵심 정리자가 2026년 코딩 담론의 두 축 구분 자체가 무너지고 있음을 선언
AI 에이전트에서 모델을 제외한 모든 것이라는 사용자 관점 정의의 표준 문헌
Planner-Generator-Evaluator 3에이전트, 단일 에이전트 20분 9달러 대 풀 하네스 6시간 200달러
하네스 엔지니어링을 컨텍스트 엔지니어링의 부분집합으로 규정, context firewall과 back-pressure 개념
감사 대상 문제의 최소 59.4%가 결함 테스트, 벤더가 벤치마크 하네스의 신호 오염을 인정
guides/sensors 곱하기 computational/inferential 프레임의 최초 제시
약 100만 줄 규모 내부 제품을 전량 Codex 작성으로, 5개월간 엔지니어 3~7명이 약 1,500 PR 머지
용어의 대중화 기점, AI 도입 6단계 중 5단계가 Engineer the Harness
방법론 변경만으로 수치가 움직인다는 것을 발행 기관이 스스로 보여준 사례. 최상위 모델 50% 시간지평 약 5.3시간은 이 개정판 기준이며 이전 판과 직접 비교할 수 없다
하네스 인터페이스가 벤더 경쟁물에서 공용 인프라로 이관, AGENTS.md 채택 6만+ 프로젝트
Claude Agent SDK를 범용 agent harness로 명시, 프런티어 랩이 harness를 정식 용어로 채택한 분기점
compaction·structured note-taking·sub-agent·just-in-time retrieval 4패턴 명명
prompt engineering의 세대교체를 동시대 기록으로 확정
컨텍스트를 매 반복 폐기하고 상태를 git과 파일에 두는 루프 엔지니어링의 원형