차량 이상궤적 식별 파이프라인의 검증·개선 실험 진행 상황과 다음 단계를 정리한 문서입니다. 각 실험의 상세 결과는 ANALYSIS.md 참고.
- 베이스라인: LSTM 오토인코더로 정상 궤적을 학습하고 재구성 오차로 이상궤적을 식별 (석사학위논문 방법론)
- 검증 환경: macOS / Python 3.11 / CPU·MPS, 지점 11·14·17 (YOLOv8x 재추출, 754궤적), 합성 이상 평가셋: 표준 72개 + 확대 288개 (지점·유형당 24개, 실험 ⑨부터)
- 현재 최고 성능: F1 0.85 / PR-AUC 0.97 (확대 평가셋, 채택 구성 A2+D3+하이브리드)
- 논문 원방법(재구성 오차) 대비 F1 0.25 → 0.85
| 방법 | F1 | 비고 |
|---|---|---|
| LSTM-AE 재구성 오차 (논문 원방법) | 0.25 | 행동 이상 대부분 미탐지 |
| + 차로 상대 특징 + 2D 방향장 | 0.67 | 규칙 기반 점수, 역주행 83% |
| + 궤적 스무딩 (Savitzky-Golay) | 0.69 | 역주행 89% |
| + 하단 중앙점(bottom-center) 재추출 | 0.70 | 채택 구성 A2 확립 (실험 ⑦) |
| A2 @ 확대 평가셋 288개 | 0.74 | 통계적으로 신뢰 가능한 기준치 (실험 ⑨) |
| + cross_flow·osc 특징 (A2+D3) | 0.81 | 차로횡단 11→47% (실험 ⑩) |
| + LSTM-AE 하이브리드 mean (⑪) | 0.85 | 현재 채택 구성 — AE가 지그재그 보완(40→70%) |
| # | 실험 | 결과 | 판정 |
|---|---|---|---|
| ① | 지점별 정규화 | 지점 14 쏠림(이상 판정 100%) 해소, 지점 11 이상 첫 검출 | ✅ 채택 |
| ② | 지점별 임계값 분리 | 임계값 2.6배 격차 정량화, 지점 17 이상 첫 검출 | ✅ 채택 (한계 명시) |
| ③ | 합성 이상 평가셋 | LSTM-AE 재구성 방식의 실제 탐지 성능 노출 (F1 0.25) | ✅ 평가 기반 확립 |
| ④ | 차로 상대 특징 + 2D 방향장 | F1 0.25→0.67, 역주행 22→89%, 급정거 100% | ✅ 채택 (최대 도약) |
| ⑤ | 소실점 자동 원근 보정 | 순개선 없음 — 원거리 지터 증폭 진단 | ❌ 비채택 (부정 결과) |
| ⑥ | 입력 품질 누적 (스무딩→ROI보정→국소분산) | 스무딩만 순개선, 보정·정규화는 손실 | |
| ⑦ | 하단 중앙점 재추출 + ②③ 짝비교 재검증 | A2 확립(F1 0.70), 자동 보정 3번째 기각 | ✅ 채택 |
| ⑧ | 위성사진 대응점 실측 호모그래피 | 미터 물리량 확보(속도 km/h 검증), 탐지 개선은 ⑨에서 정정 | |
| ⑨ | 곡선 중심선 + 평가셋 확대(288개) | 소표본 노이즈 규명, 원근 보정 계열 최종 기각, A2 확정 | ❌ 부정 결과·교훈 |
| ⑩ | 차로횡단 특징 cross_flow | 방향장 수직 변위 누적 — 차로횡단 11→47%, F1 0.74→0.81 | ✅ 채택 |
| ⑪ | 하이브리드 스코어 (규칙+AE) | 상보성 확인: 규칙 미탐 84개 중 AE 38개 회수, F1 0.81→0.85 | ✅ 채택 |
| ⑫ | EVT(POT) 동적 임계값 | F1 동급(0.84)·오탐 11→7, 앵커 민감도 3~7배 감소, q=오경보율 해석 확보 | |
| ⑬ | 예측 기반 이상 점수 (seq2seq) | AE와 상관 0.86(같은 이상을 봄), 역주행 1%(시간 구조에 무반응), 모든 결합이 ⑪ 미달 | ❌ 기각 (점수원=불변량 교훈) |
| ⑭ | 융합 위상 × 운영점 분석 | OR 융합 "F1 0.88"은 오탐 예산 착시 — 매칭 시 mean이 전 구간 지배. 운영점 곡선 확보(q85: F1 0.92, FPR 18%) | ✅ 방법론 채택 (구성 불변) |
| ⑮ | AE 학습 예산 (10→60 에폭) | q95 겉보기 F1 0.85→0.89, 그러나 운영점 곡선 겹침·PR-AUC +0.006 — 임계값 완화의 우회였음 | ❌ 기각 (⑭ 원칙 재실증) |
현재 권장 파이프라인 (A2): 이미지 좌표 + 하단 중앙점 추출(⑦) + Savitzky-Golay 스무딩(⑥) + 차로 상대 특징·2D 방향장(④) + cross_flow·osc(⑩) + LSTM-AE(10 에폭) 하이브리드 mean(⑪⑮) + 지점별 정규화·임계값(①②, 운영 대안: POT 동적 임계값 ⑫) + 직선 차선 모델. 운영점은 오경보 비용에 따라 q95~q85에서 선택(⑭ 운영점 곡선 — 1%p 오경보당 Recall 약 1.5%p 교환)
- 재구성 오차 방식의 한계 — 오토인코더는 판별적 특징을 넣어도 재구성 오차로 증폭하지 못함(과잉일반화). 도메인 지식 기반 규칙 점수가 훨씬 효과적이었음. → 하이브리드(규칙+학습) 구조가 실용적 방향.
- 정량 평가가 없으면 개선을 판정할 수 없다 — "상위 5% 시각화"로는 그럴듯해 보이던 파이프라인이, 라벨 기반 평가에서 F1 0.25로 드러남. 합성 평가셋 도입이 이후 모든 개선의 기준점.
- 원근 보정은 탐지에 도움이 안 된다 (자동·실측 모두) — 소실점 자동 보정(⑤⑥⑦)에 이어 실측 호모그래피(⑧⑨)까지 확대 평가셋에서 순손실로 확정. 이미지 좌표의 원근 압축이 잡음 많은 원거리를 자연스럽게 축소하는 암묵적 정규화 역할을 함. 실측 H의 가치는 물리량(오프셋 m, 속도 km/h) 해석·운영 용도에 한정.
- 저비용 개선을 먼저 — 스무딩 같은 전처리는 비용 없이 F1을 올림. 복잡한 기하 보정보다 우선.
- 평가셋 크기가 판정을 좌우한다 — 지점·유형당 6개(양자 17%p)에서는 ±1개 차이가 "개선"으로 보임. 실험 ⑧의 개선 주장이 확대셋(24개, 양자 4%p)에서 미재현되어 정정됨. 유형별 세부 주장은 반드시 확대셋으로 재검.
우선순위 순. 각 항목은 기존 합성 평가셋으로 효과를 즉시 판정 가능.
- 스무딩 기본 채택 반영 — 현재 검증된 최적 구성(④+스무딩)을 정식 파이프라인 스크립트로 통합
- 전 지점 확장 — 현재 3개 지점(11·14·17) → 39개 전체 지점으로 학습·평가 확대. 에폭 연장은 이득 없음 확인(⑮ — 운영점 이동 착시), 10 에폭 관례 유지
- 하이브리드 스코어 — 규칙 z + AE z의 mean 결합으로 F1 0.81→0.85 (⑪). 상보성 확인: AE가 지그재그(고주파 사행)를 보완, 규칙이 역주행·차로횡단 주도
- EVT 기반 동적 임계값 — POT(GPD 꼬리 적합)로 임계값을 오경보율 q의 함수로 산출 (⑫). F1 동급(0.85→0.84)·오탐 11→7, 앵커 민감도 3~7배 감소. 기본은 95% 분위수 유지, 오탐 비용 큰 운영·전 지점 확장 시 POT(q=0.05) 권장
- 하단 중앙점(bottom-center) 재추출 — YOLOv8x로 지점 11·14·17 재처리, 채택 (⑦,
trajectory_yolo8_bottomcenter.py) - 위성사진 대응점 기반 실측 호모그래피 — 대응점 도구(
make_correspondence_tool.py) 제작, 지점 11·14 수동 라벨링 완료 (⑧,6_evaluation/homography_gt/). 탐지 개선은 미재현(⑨ 정정), 물리량 확보로 가치 재정의 - 차로폭/노면표시 기반 미터 스케일 — 위성 노면표시 자기상관으로 0.195/0.200 m/px 교차검증, 속도 km/h 물리성 확인 (지점 14 최고 67km/h)
- 곡선 중심선 좌표계 — 궤적 기반 추정은 불안정, 확대셋에서 이득 없음 (⑨ 기각). 재시도 시 위성사진 직접 디지타이즈 방식으로
- 차로횡단 전용 특징 — cross_flow(방향장 수직 변위 누적)로 11→47% (⑩). 잔여 미탐은 저진폭(정상 차선변경과 동형) 케이스 — 실제 사례 라벨링으로 검증 필요
- 예측 기반 이상 점수 — 검증 결과 기각 (⑬): 예측 오차는 AE와 상관 0.86으로 같은 이상을 보고, 시간 구조 이상(역주행)에는 원리적으로 무반응. 점수원은 "어떤 불변량을 위반하는지"로 선택해야 함
- 실제 이상궤적 라벨링 — 합성이 아닌 실제 CCTV의 이상 사례를 라벨링해 평가셋 신뢰도 향상
확대 평가셋(지점·유형당 24개, 채택 구성 A2) 기준:
| 이상 유형 | 현재 탐지율 | 병목 원인 | 대응 계획 |
|---|---|---|---|
| 역주행 | 100% | — | 유지 |
| 급정거 | 89% | (정체 지점 오탐 검증 필요) | 전 지점 확장 시 검증 |
| 지그재그 | 70% | AE 보완으로 개선 (⑪) | 유지·실제 사례 검증 |
| 차로횡단 | 46% | 잔여 미탐은 저진폭(정상 차선변경과 동형 — 원리적) | 실제 사례 라벨링 검증 |
주의: 현재 수치는 검증 규모(지점 3곳)의 결과. 절대값보다 구성 간 상대 비교와 병목 진단에 의미. 전 지점 확장으로 재검증 필요.