distill: 영속 실패 회로차단·부하 게이트·저널 TTL — sogyo 2026-08-23 스톰 후속 구조 수정

[seoseo-ai]

배경

2026-08-23 sogyo 사건(인시던트: seoyoon-family-wiki pages/incidents/2026-08-23-sogyo-distill-pending-drain-storm.md):

• 01:32 KST 플릿 공유 Claude 주간 쿼터 소진 → 모든 claude -p 추출이 ec=1 즉사
• SessionStart re-entry 증폭(97,878 spawns)은 #1248로 수정 완료 (sogyo 배포·테스트 23/23 확인)
• 그러나 스톰 증폭기만 제거됐을 뿐, 실패를 영속/일시로 구분하지 않는 근원 구조는 그대로 — 쿼터가 죽은 19시간 동안 저널 0→134건 적재, 침 크론 무한 헛발사

남은 구조 결함 (우선순위순)

1. 영속 실패 회로차단기 없음

extract.sh 실패를 ec=1 한 종류로만 본다. weekly limit·Not logged in 같은 영속 오류는 재시도가 무의미한데 일시 오류와 동일하게 무한 재시도한다.

• 제안: 추출 실패 출력에서 영속 오류 클래스 감지(패턴: weekly limit, Not logged in, invalid_grant) → 연속 N회(기본 3) 시 distill.disabled 자동 trip + 사유 파일 + 텔레그램 알림. 복구는 수동 해제만.

2. pending-drain 부하 게이트 없음

pending-drain.sh는 노드 부하와 무관하게 워커를 스폰한다.

• 제안: load1 > nproc×2 또는 MemAvailable < 256MiB 또는 스왑 잔여 < 10%이면 skip reason=load-gate. #1248의 cap과 직교.

3. 저널 max-attempts / TTL 없음

실패 잡이 영구 재시도된다 (sogyo 실측 134건, 19시간).

• 제안: pending_journal.py 레코드에 attempts 카운터 추가. 기본 5회 초과 또는 48h 초과 시 dead-letter로 이동 + 감사 로그. 조용한 폐기 금지(침 설계 원칙 동일).

4. 침(auto-distill) 자기 증식 + 미버전관리

~/.hermes/auto-distill/auto-distill.py(TM-2380 침):

• CLAUDE_DISTILL_INFLIGHT 없이 claude -p 호출 → 호출마다 SessionStart/End 훅 발화 → pending 저널 자기증식 (fix(distill): stop pending-drain SessionStart re-entry and cap inflight #1248 이후에도 drain 스킵이 아니라 drain 유발)
• git 미관리, 노드별 수동 배포 (54KB 단일 파일, 플릿 6+ 노드) — 수정 전파 경로가 없음
• 제안: ① 추출 호출 env에 CLAUDE_DISTILL_INFLIGHT=1 추가 ② 레포 편입(ccc-node 또는 wiki-agent — 위치 논의 필요) ③ 쿼터 클래스 오류 시 자체 회로차단

5. (관측) 크리덴셜 동시 갱신 경합

pile 상태에서 수십 개 claude 프로세스가 동시 refresh를 시도해 .credentials.json이 expiresAt: 0으로 손상 기록됨(10:20 KST). claude CLI 측 결함에 가깝지만 회로차단(1번)이 pile을 막으면 간접 방어됨.

완료 조건

• 회로차단기 + 테스트
• 부하 게이트 + 테스트
• 저널 attempts/TTL + 테스트
• 침 INFLIGHT 가드 + 레포 편입 결정
• sogyo: claude 재로그인 후 distill.disabled 해제 및 134→67건 잔여 잡 정상 드레인 확인

참고

• fix(distill): stop pending-drain SessionStart re-entry and cap inflight #1248 (스톰 증폭기 수정, merged)
• TM-2380 설계: seoyoon-family-wiki pages/decisions/wiki-auto-promotion-2026-08.md
• 방향 결정(2026-08-23 오너): 침 유지 + 구조 수정

[seoseo-ai]

진행 상황 (2026-08-24 00:45 KST)

• 회로차단 → fix(distill): stop retrying auth/quota extract failures every SessionStart #1253이 provider-guard cooldown 방식으로 구현·머지 (분류: not_logged_in/oauth_expired/weekly_limit/rate_limited; weekly_limit은 다음 10:00 KST 리셋까지 cooldown). 초기 제안의 distill.disabled trip 방식은 중복이라 폐기
• 부하 게이트 → feat(distill): drain 부하 게이트 + 저널 max-attempts/TTL dead-letter (#1250) #1252 머지 (7771102). load1/mem/swap 임계 시 skip reason=load-gate
• 저널 attempts/TTL → feat(distill): drain 부하 게이트 + 저널 max-attempts/TTL dead-letter (#1250) #1252 머지. fix(distill): stop retrying auth/quota extract failures every SessionStart #1253 fail_count 기반 cap(기본 5) + TTL(기본 48h) + dead/ 보존
• 침(auto-distill) INFLIGHT 가드 + 레포 편입 — 별도 트랙
• sogyo: claude 재로그인 후 distill.disabled 해제 + 잔여 잡 드레인 확인 — 운영 액션 (재로그인은 오너 OAuth 필요)

배포: sogyo 7771102 반영 완료(노드 테스트 37/37), 나머지 플릿은 04:45 self-update 크론 경유.

[seoseo-ai]

진행 상황 갱신 (2026-08-27, jingun 실측)

남은 트랙으로 표시돼 있던 침(auto-distill) INFLIGHT 가드 + 레포 편입이 main에서 이미 완료돼 있음을 확인했습니다 (위 코멘트 이후 머지된 건으로 추정):

• INFLIGHT 가드: scripts/auto-distill/auto-distill.py:545-546 — 모든 추출기 백엔드 자식에 CLAUDE_DISTILL_INFLIGHT=1 + CCC_AUTO_DISTILL_INFLIGHT=1 부여, 회귀테스트 test_model_command.py:255-256
• 레포 편입: scripts/auto-distill/(auto-distill.py + metrics/model_command/publish_wiki + 전용 pytest) + scripts/install-auto-distill.sh의 트랜잭션 설치(auto-distill: piri 런처 탐지가 $HOME/piri/ 한 곳만 봐서 /opt/piri 노드가 claude로 조용히 폴백 (sogyo 96회 무성 실패) #1257, auto-distill: 평가 receipt 없이 Pipeline 소스 배포 금지 #1262). 플릿 롤아웃은 의도대로 별도 승인제
• 쿼터류 무한재시도 방지(4③에 상응): record_extract_failure() 스냅샷별 시도 예산 3회 → dead-letter(test_retry_budget.py, auto-distill: failed extractions retry forever (no dead-letter/backoff) — 95 retries on one nosuk session #1297 강화 cron 주기 실행이라 SessionStart 증폭 경로 없음)

즉 체크리스트 코드 항목은 사실상 전부 소화됩니다. 잔여는 sogyo 운영 액션(claude 재로그인 후 distill.disabled 해제·잔여 드레인) 하나뿐입니다.

부수 발견 → #1310 / PR #1311

위 검증 과정에서 local-facts.test.sh가 스코핑 노드 환경변수(CCC_MEMORY_FACTS_FILE 등)에 오염돼 19/25 실패하는 비-hermeticity를 발견했고 원인 규명과 수정 PR을 올렸습니다(#1292와 동일 부류).

[jinon86]

Fleet live-check (2026-08-27 15:40 KST, gongmyoung 실행 노드)

코드 체크박스 소화 상태를 플릿 전수로 재확인했습니다:

• 배포 스윕 7/7: vps6/jingun/nosuk/bangtong/sogyo/gongmyoung(provider-guard.sh 존재 + pending-drain.sh load-gate 포함) 전부 Y. yukson은 체크아웃 경로가 /root/ccc-node(HEAD 9e9b58d)로 동일하게 Y.
• sogyo 현황: distill.disabled 아직 존재, pending 저널 67건/히스토리 20건, 활성 cooldown 파일 없음(재로그인 없이 잠금만 유지 중).
• 판정: 코드 항목은 이슈 본문 1~4 + 침 INFLIGHT/레포 편입까지 전부 소화된 상태 유지(위 코멘트들과 일치).

남은 하나 (운영 액션 — 오너 개입 필요)

sogyo claude 재로그인(OAuth는 오너만 가능) → distill.disabled 해제 → 67건 드레인 관찰(새 회로차단기하에서 정상 소화 확인) → 이슈 종결 제안. 참고로 신규 가드 덕분에 잠금 해제를 재로그인 전에 해도 pile은 cooldown으로 제동되므로 안전하지만, 의미 있는 드레인 검증은 재로그인 후가 맞습니다.

오너 액션 완료 후 이 코멘트에 결과를 달고 닫을 계획입니다 — 반대 의견 없으면 그대로 진행합니다.

[jinon86]

종결 처리 (2026-08-27 stale-triage 배치 — 운영자 결정)

코드 체크박스는 전부 완료·플릿 배포 확인됨(위 코멘트들 참조): 회로차단(#1253)·부하 게이트+저널 cap/TTL(#1252)·침 INFLIGHT 가드+레포 편입(main 반영).

남았던 운영 잔여(sogyo 재로그인→disabled 해제→잔여 저널 드레인 검증)는 오늘 의도적으로 중단(discontinued) 하기로 결정했습니다:

• 08-27 live-check 기준 sogyo distill.disabled 유지 중, 활성 cooldown 없음, credentials 파일 mtime=08-23 10:20(인시던트 당시 그대로).
• 노드 자체 정상 서빙엔 영향 없음(distill만 끔). 판단 근거: 잔여 저널 67건은 모두 8/23 스톰 시대 값이라 신선도가 낮고, 동일 정보는 이미 플릿 공유 채널로 회복된 상태.

미래 재개 절차 (기록용)

# sogyo에서, 오너 OAuth 로그인 확인 후:
mv ~/.claude/state/distill-pending/*.json ~/.claude/state/distill-history/aged-20260827/ 2>/dev/null  # 또는 삭제
rm ~/.claude/state/distill.disabled
bash /opt/ccc-node/claude/hooks/distill/pending-drain.sh   # 즉시 드레인(새 가드하에서 자연 검증)

정상화되면 첫 성공 추출 라인이 distill.log에 기록됩니다. 이 이슈는 구조 수정 목표 기준 완료로 닫습니다 — 코드 변경은 없었고 오늘 조치도 문서화뿐입니다.