0x40. Experiments & Results

0x41. Evaluation Metrics

• PR-AUC (Precision–Recall AUC): 극희귀 positive 문제에서 재현율–정밀도 균형 평가
• Lift@K: 상위 K개 후보 내 실제 positive 비율이 랜덤 대비 몇 배 향상됐는지
• Recall@K: 전체 실제 positive 중 상위 K 후보로 잡아낸 비율
• AUC-ROC: 전통적 ROC 곡선 아래 면적
• Calibration Error: 예측 확률과 관측 빈도의 차이

0x42. Quantitative Results

Model Variant	PR-AUC	PR-AUC std	Lift@100	Lift std	Recall@500	AUC-ROC	Calibration Error
Baseline (single LightGBM)	0.123	±0.019	92.3	±21.8	0.278	0.78	0.08
+ KDE Features	0.212	±0.015	130.5	±17.2	0.385	0.83	0.06
Enhanced GNN (no civic report)	0.332	±0.008	165.2	±12.3	0.502	0.87	0.05
Enhanced GNN + civic report	0.558	±0.0023	180.4	±11.4	0.708	0.91	0.04
Full Pipeline (Silent-zone PU + caching)	0.592	±0.0019	195.1	±9.8	0.742	0.92	0.035

• PR-AUC: 0.123 → 0.558 (약 4.5×) → 0.592 (최종)

• Lift@100: 92.3 → 180.4 → 195.1

• Recall@500: 27.8% → 70.8% → 74.2%

• Calibration Error: 0.08 → 0.04 → 0.035

0x43. Crowd Sensing 효과 검증

과연 시민 제보 기반 피처는 효과가 있을 것인가?

Ablation Study 결과

Component Removed	ΔPR-AUC	ΔLift@100	ΔRecall@500
civic report features	–0.226	–25.6	–17.2%
Uncertainty masking	–0.047	–8.3	–5.1%
Silent-zone PU learning	–0.032	–5.8	–3.2%
Hyperparameter caching	–0.015	–3.2	–1.4%

• 가장 큰 기여: civic report 기반 KDE + interaction features
• 효율성 개선: caching 도입 시 학습 및 튜닝 시간 30% 단축

Feature Importance

• Top-8 SHAP features

  1. pothole_kde_density
  2. pothole_pipe_interaction
  3. distance_to_subsidence
  4. soil_pipe_risk
  5. risk_fault
  6. neighboring_drainage_risk
  7. risk_hydro
  8. drainage_pipe_risk

• Crowd-sensing 피처 비중: 상위 8개 중 4개

• 시각화:

• 

효과

대부분의 제보 데이터는 단순 위치 좌표나 비정형 텍스트에 불과하여 ML 예측에 직접 활용하기 어려운 비구조적 raw signal에 해당된다.

이에 기존 연구에서는 제보 데이터는 분석 제외 혹은 단순 count-based weight로만 사용되어, 실질적 기여도로 이어지지 못했다.

제보의 누적 공간 효과(KDE)와 인프라 위험 정보의 상호작용을 통해 실제로 위험한 제보인가?라는 정성적 판단을 정량화하여 실제 점검 대상지 선별에 적용가능한 Priorization 지표로 변환할 수 있었다.

효과 검증 : 제보 피처를 GNN node feature로 사용했을 때의 효과

	PR-AUC	PR-AUC std	Lift@100	Lift std
Baseline	0.123	±0.019	92.3	±21.78
Enhanced GNN w/ civic report	0.558	±0.0023	80.4	±11.38

• PR-AUC ≈ 0.123 → 무작위(random guessing) 수준보다 약간 높은 성능

• 침하 예측에서 양성만 잘 맞췄지만, 많은 false positive를 냈음을 의미함

• Enhanced model (제보 기반 상호작용 피처 + Uncertainty 기반 GNN)

  • PR-AUC ≈ 0.558 → 랜덤 대비 약 4.5배 성능 향상
  • 극소수의 침하 사건을 높은 정밀도와 재현율로 포착함
  • 표준편차 0.002 → 모델 예측이 매우 안정적이며 일관된 성능을 유지

• 평균이 92.3, 표준편차 ±21.8

• 평균 80.4, 표준편차 ±11.4로 약간 낮지만 분산이 적고 안정적

0x44. model optimization

1. Spatial Detection Performance

• Recall@K curve: K = 100 → 1,000 구간에서 Enhanced 모델이 일관된 우위
• Candidate Set Mapping
• Top-500 후보(파랑) 중 실제 발생(별표) Recall ≈ 70.8%
• IoU@100 최적 임계값: 0.02 percentile → 최대 F1 달성

2. Impact of Silent-zone PU Learning

Metric	Without PU	With PU	Improvement
PR-AUC	0.558	0.572	+0.014
Recall@500	0.708	0.725	+1.7%
Candidate Coverage Gap	12.5%	7.8%	–4.7 pp

• Silent zones 고려 시 희귀 positive 샘플 포착률 증가
• False negative 감소: grid-level blind spot 15% → 8%

3. Hyperparameter Caching Benefit

• 튜닝 시간: 5-fold CV + grid search

  • 기존: 약 12h → caching: 약 8h (–33%)

• 탐색 공간: Stage 1 score 기반 초기 후보 좁힘으로 20% 탐색량 절감