RAG·파인튜닝·컨텍스트Elias Lumer 외
Don't Break the Cache 발표
Don't Break the Cache 발표 — 3사 API의 프롬프트 캐싱을 실측, 비용 41~80% 절감이나 배치 전략에 따라 지연이 늘 수 있음
왜 중요한가
캐시 상품화 이후 처음으로 3사를 같은 조건에서 비교한 실측
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2601.060072026년 8월 24일에 더한 조각 · 그 주 보기