앞단은 판단, 뒤는 코드, 애매하면 사람

AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법

판정을 자동화할 때 무엇을 모델에 맡기고 무엇을 코드가 쥐어야 하는지가 여러 자료에 되풀이해 나온다. 카드가 두 번 결제됐으니 환불해 달라는 문의 하나에도 담당 배정, 요청 의도 파악, 자동 처리 여부라는 작은 판단이 먼저 필요하다는 것이 출발점이다. 가장 실용적이라고 꼽힌 분담은 작은 모델이 의미를 읽고, 코드가 결제 기록과 환불 규정을 대조해 흐름을 가르고, 긴 문장이 필요한 순간에만 큰 모델이 답을 쓰고, 애매한 건은 사람에게 넘기는 네 갈래다. 임계값은 그냥 정하는 것이 아니라 90%라고 나온 예측이 실제로도 대략 90% 맞는지를 자기 데이터로 먼저 확인한 뒤에야 걸 수 있다. 환불 요청일 확률이 99%라는 말과 환불 자격이 있다는 말은 전혀 다르다는 선 긋기가 이 구조의 핵심이다.

이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.