methodology.md

RouteFit — Cost & Recommendation Methodology

비용 계산과 추천의 단일 기준(SSOT). src/engine/*는 이 문서를 그대로 구현한다. 관련: assumptions.md(외부 사실) · pricing-catalog.md(가격 규칙)

0. 한 줄 정의

월 비용 = 사용자 수 × 요청 빈도 × 요청당 토큰 × 각 모델로 가는 비율 × 공식 단가
         + 라우터·캐시·재호출·도구 비용

RouteFit의 진짜 핵심은 계산이 아니라 "어떤 요청을 어느 모델로 보내고, 몇 %가 에스컬레이션되는지 시뮬레이션해 비용–품질 균형점을 찾는 것".

---

1. 월 사용량

월 요청 수 = 월 활성 사용자 × 1인당 일평균 요청 × 월 사용일수
월 입력 토큰 = 월 요청 수 × 요청당 평균 입력 토큰
월 출력 토큰 = 월 요청 수 × 요청당 평균 출력 토큰

사용자 수만으로 계산 금지. 같은 1만 명도 요청 빈도·토큰에 따라 비용이 완전히 다름.

2. 단일 모델 (Baseline)

월 비용 = (월 입력 토큰 / 1e6 × 입력단가) + (월 출력 토큰 / 1e6 × 출력단가)

① 단일 고성능 100%, ② 단일 경량 100% → 비교의 기준선.

3. 라우팅 (생성 前, 총 호출 = 100%)

각 요청은 처음부터 한 모델로만 간다. 비율대로 토큰을 나눔.

라우팅 비용 = Σ(모델별: 사용량 × 처리비율 × 모델단가) + 라우터 비용

예: 경량 80% + 고성능 20% → 두 비율의 합이 정확히 100%.

4. 라우터 자체 비용 (라우터 종류별)

종류	비용
규칙 기반	≈ $0 (키워드·길이·권한 판단, API 없음)
임베딩	입력 질문 토큰 × 임베딩 단가 (생성 호출보다 훨씬 작음)
LLM 분류기	월 요청 수 × (라우터 입력토큰 × 입력단가 + 라우터 출력토큰 × 출력단가). 출력은 5~30토큰으로 제한 ("simple/complex?"만 답)

5. 캐스케이드 (생성 後, 총 호출 > 100% 가능)

모든 요청 → 경량 모델. 품질 미달분만 고성능 재호출.

캐스케이드 비용 = 전체 요청 경량 비용 + (에스컬레이션 비율 × 고성능 비용) + 품질평가 비용

예: 경량 100% + 고성능 15% = 총 115% 호출. 실패 요청은 두 모델 비용 중복 — 품질 안전망의 대가.

6. 하이브리드 (라우팅 + 캐스케이드)

어려운 요청 → 바로 고성능
쉬운/애매 → 경량 → 실패 시 고성능
하이브리드 비용 = 직접 고성능 + 경량 처리 + 경량 실패 에스컬레이션 + 라우터 + 품질평가

예: 직접 고성능 20% + (경량 80% 중 10% 에스컬레이션 = 8%) → 고성능 실호출 28%, 경량 80%, 총 108%.

7. 캐시 (입력 토큰 일괄 할인 금지)

적중률로 입력 토큰을 쪼갠다.

입력 비용 = 일반토큰(1−적중률) × 일반단가 + 캐시토큰(적중률) × 캐시단가

Anthropic처럼 write/read 분리 시: 최초 cache_write + 이후 cache_read로 세분화 (시스템 프롬프트·사내 문서 = 첫 write, 재사용 = read).

8. Batch (전체 일괄 할인 금지)

Batch 가능 업무(대량 요약·야간 리포트·비동기 분류·평가)만 분리.

실시간 비용 = 사용량 × (1−batch비율) × Standard
Batch 비용  = 사용량 × batch비율     × Batch단가(≈0.5x)

9. 도구·인프라 비용

Agent/RAG는 토큰만 계산하면 과소추정.

총 운영비 = 모델 추론 + 라우터 + 임베딩 + 벡터DB + Web/File search + Code exec + 재시도 + 인프라

MVP 표시 정책 — 3층 분리: ① 순수 모델 비용 · ② 라우팅·평가 오버헤드 · ③ 선택적 도구·인프라 비용.

10. 최적화 정의 (가장 싼 게 아님)

Minimize 월 비용
Subject to:
  예상 품질 ≥ 최소 품질 기준
  P95 latency ≤ 최대 허용 응답시간
  데이터 반출 정책 충족
  컨텍스트 길이 충족
  멀티모달 / tool calling 요구 충족

11. 예상 품질 (가격표에서 못 가져옴)

품질은 기업의 평가 데이터로만 구함: 질문셋 → 후보 모델별 답변 → 사람/LLM Judge → 업무별 성공률.

업무	경량 성공률	고성능 성공률
단순 FAQ	94%	97%
문서 요약	89%	95%
복잡 추론	58%	91%
코드 생성	72%	93%

평가 데이터 없으면 = 정확한 최적화가 아니라 경험적 추천안. 결과에 신뢰도를 반드시 명시:

추천 신뢰도: 중간
가격 계산: 공식 가격 기반 | 사용량: 사용자 입력 기반
품질 예측: 일반 벤치마크 기반 추정 → 도입 전 자체 평가 데이터 필요

12. 라우터를 넣지 않는 것도 답

트래픽 적고 모델 싸면 라우터의 호출비·지연·운영복잡도가 이득보다 큼 → "라우팅 도입 보류" 를 정식 추천안으로 제시.