Skip to content

bug(honcho): 노드별 대화 스트림 정체로 같은 질문에 서로 다른 stale 답변 — 최신도 신호 없음 #1263

Description

@jinon86

배경

#827(Phase 2 게이트-3 전환) 진행 중 2026-08-24 곽가에서 08-17 벤치 게이트후보 27건을 중앙 Honcho에 대조 실행했다 (코멘트: #827 (comment)).

증상

같은 질문 "이 노드의 현재 ccc-node HEAD 커밋은"(Q-set q5)에 대해:

둘 다 현재 시점(8월 하순) 기준 6주 이상 낡은 값이고, 서로 다른 시점을 각각 확신에 찬 어조로 답한다. 어느 쪽도 "이 값이 오래됐을 수 있다"는 경고 없이 단정적으로 답변했다.

bangtong peer의 q7("Honcho를 유지하지 않고 폐기 경로로 정한 이유는")도 유사한 패턴 — 실제로는 정반대 방향(Honcho가 유지·강화 대상이라는 과거 이력)을 근거로 답변을 구성했다. 최신 결정(TM-2029 폐기 로드맵)을 반영하지 못했다.

의심 원인 (미검증)

  • 각 peer의 대화/파생 스트림이 정체되어 최신 세션 distill이 деривер에 반영 안 됐을 가능성(과거 유사 사고: LOG-20260725-gongyung-2, deepseek-chat 모델폐기로 2주 파생 마비).
  • dialectic 답변 합성 시 검색된 발췌들의 시점(valid_from/valid_to, 세션 날짜)을 명시적으로 비교·최신순 가중하지 않고, 의미 유사도만으로 골라 쓰는 것으로 보임.
  • peer별 파생 backlog/큐 상태(sync_vectors/cleanup_queue reconciler)가 지연됐을 가능성.

제안 조사 방향

  1. daegyo·jingun·bangtong peer의 최근 deriver 처리 시각(마지막 파생 완료 시각)을 Honcho DB에서 직접 조회 — 정체 여부 확인.
  2. dialectic 프롬프트에 "발췌의 날짜/최신성을 우선하라"는 지시 강화 검토(현재 프롬프트 미확인).
  3. 재발 방지: LOG-20260725-gongyung-2 사고 이후 추가된 400/401 알람처럼, 파생 지연(오래된 backlog)에 대한 알람도 필요한지 검토.

참고

  • 이 대조는 Honcho 모델을 deepseek-v4-prodeepseek-v4-flash로 낮춘 직후 실행됨(같은 날 별건 비용절감 작업). 모델 다운그레이드가 이 stale 응답의 원인일 가능성은 낮아 보이나(회수 자체가 오래된 데이터를 찾아온 것이지 모델이 지어낸 게 아님) 완전히 배제는 안 됨.
  • 관련: #827(게이트-3 Phase 2), TM-2029/TM-2339(Honcho 폐기 로드맵) — 이 결함은 오히려 폐기 방향에 힘을 싣는 증거로 코멘트에 기록됨.

🤖 Generated with Claude Code

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions