RAG·파인튜닝·컨텍스트Elias Lumer 외
Don't Break the Cache 발표
Don't Break the Cache 발표 — 3사 API의 프롬프트 캐싱을 실측, 비용 41~80% 절감이나 배치 전략에 따라 지연이 늘 수 있음
왜 중요한가
캐시 상품화 이후 처음으로 3사를 같은 조건에서 비교한 실측
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2601.060072026년 35주차에 더한 기록이에요 · 그 주 보기