*공지* [2026] Rule Book

[hwater27]

RULE BOOK - 2026

본 규정집은 질문 내역에 따라 지속적으로 갱신되나, 기존의 규정이 번복되지는 않습니다.

1. 학습 환경 제약 관련 규정

본 Challenge는 주어진 데이터와 서버 환경이라는 동등한 제약 조건에서 성능을 겨루는 Challenge입니다. 따라서 최종적으로 leaderboard에 업로드되는 점수는 VESSL 서버(GTX 1080)와 주어진 train/val 데이터, 그리고 직접 작성하신 코드만으로 처음부터 끝까지 재현이 가능해야 합니다.

• 운영진이 제공한 데이터 이외의 외부 데이터는 학습 시에 사용할 수 없습니다. (외부데이터 사용금지 관련 문의 #379)
• 모델 학습에 leaderboard 데이터를 사용할 수 없습니다.
  • [7/24 추가] Leaderboard 데이터는 원칙적으로 validation 용도로도 사용할 수 없습니다.
    • ⭐ 세부 규정 참조: training 시 validate 함수 실행에서 leaderboard set 활용 가능 여부에 대한 질문(재업로드) #344
• 주어진 train/val 데이터를 가공(augmentation 등)하여 학습에 사용하는 것은 가능합니다. 이때 데이터 전처리 코드 또한 제출 대상입니다. (외부 연산 스크리닝·train k-space 증강/재마스킹·ensemble/TTA·외부 cloud 처리 범위 확인 #409)
• 최종 제출한 모델은 실제로 VESSL 서버에서만 학습된 모델이어야 합니다. (외부 GPU checkpoint 사용 및 acc4/acc8 mask 관련 질문 #411)
• 외부에서 불러온 pretrained model weight 사용은 금지됩니다.
  • 상세 기준: 외부 모델 사용 시 Pretrain weight의 범위 #408 참조
• ⭐ 재현성 관련 규정
  • 최종 제출에 포함될 README.md의 내용을 그대로 따라 모델을 훈련하였을 때, leaderboard에 제출된 최종 점수가 항목별로 소수점 네 자릿수에서 동일하게 재현되는 것으로 충분합니다.
    • VESSL 환경에서의 정상적인 실행을 위해 필요한 라이브러리를 requirements.txt에 정리하여 제출해야 합니다. (제출 환경(Python/requirements.txt) 관련 문의 #391)
  • 위 재현이 제대로 이루어지지 않을 경우 재현성을 매우 엄격히 판별하게 됩니다. 판별 기준은 "제출된 모델이 실제로 VESSL 서버 내에서 end-to-end로 학습되었음을 증명함"입니다. 따라서 조교가 대조해볼 수 있도록 실제로 VESSL 서버에서 실행한 log 파일 등의 증빙 자료를 사전에 정리해두셔야 합니다.
  • 최종 제출 대상자는 엄격한 기준에 맞추어 증빙 자료를 제출해야 합니다.
  • 사용하시는 함수에 따라 기본으로 제공된 seed_fix()만으로는 완전한 재현성이 보장되지 않을 수 있습니다. 반드시 사전에 학습 초기 loss trajectory를 반복적으로 출력하여 재현성을 검토해주시기 바랍니다.

그러나 Challenge 참여 도중 필요한 의사결정의 근거는 이 조건에 의해 제한되지 않습니다.

• Public leaderboard 데이터를 관찰하는 것은 허용됩니다. (평가 데이터셋 mask 관련 문의 #390)
• 외부 GPU 서버를 사용하여 학습을 실행한 결과로 architecture search, hyperparameter tuning을 시도하는 것은 허용됩니다. 이때 외부에서 실행한 학습 또한 train/val 데이터만을 사용해야 합니다. (외부 연산 스크리닝·train k-space 증강/재마스킹·ensemble/TTA·외부 cloud 처리 범위 확인 #409)
• 코드로 직접 작성할 수 있는 수준이라면, 공개 문헌을 통해 알려진 hyperparameter recipe를 사용하는 것은 허용됩니다. (외부 모델 사용 시 Pretrain weight의 범위 #408)

2. 데이터 특성 관련 정보

• 공개 및 미공개 데이터의 특성에 관해 운영진에서 알려드릴 수 있는 것은 없으며, 참여자가 직접 데이터를 관찰하여야 합니다.
• 풀 수 없는 OOD 문제를 의도적으로 심는 경우는 없도록 구성하였습니다.
• 관련 질문: 데이터 acc4, acc8 관련 질문 #380, 평가 데이터셋 mask 관련 문의 #390, 외부 GPU checkpoint 사용 및 acc4/acc8 mask 관련 질문 #411

3. 추론(inference) 관련 규정

• Image file(.../image/*.h5)에 포함된 field는 추론 시에 입력으로 사용할 수 없습니다.
  • Annotation에 관한 인자는 학습 단계에서 자유롭게 사용할 수 있으나, 추론 단계에서는 참조가 불가능합니다. (병변 영역 관련 질문 #385)
  • 참고용으로 주어진 GRAPPA image 또한 추론 단계에서 접근이 금지됩니다. ([rule Q] 직접 계산한 GRAPPA의 추론시간 계측 구간 문의 (prep_volume vs recon_slice) + 시간 상한 초과 시 처리 #406)
• ⭐ 본 Challenge에서 변경이 불가능한 코드는 recon_eval.py뿐입니다.
  • recon_eval.sh에서 이미 지원 중인 argparse 파라미터는 자유롭게 설정 가능합니다. (recon_eval, MoE 등 룰 관련 문의 #394)
  • 터미널을 통해 환경변수를 지정하여 test_part.py까지 통과시키는 것도 가능하나, 최종 제출용 코드에는 안정성을 위해 소스코드 내에 defalut value를 하드코딩해 두시는 것을 권장합니다. (recon_eval, MoE 등 룰 관련 문의 #394)
  • 본 harness는 slice 입력에 대한 reconstruction을 가정하여 실행 시간을 측정합니다. 또한, 입력 유형 판별, 인접 slice 입력 등의 알고리즘에 유연한 적용이 가능하도록 prep_volume() 함수를 지원하고 있습니다. 따라서 개별 slice의 직접적인 reconstruction 작업은 모두 recon_slice() 내부에서 실행되어야 하며, pygrappa 등의 별도 알고리즘 또한 예외가 아닙니다. 사전에 prep_volume()에서 전부 또는 일부 reconstruction을 진행하여 변화한 image, k-space data, 또는 weight의 중간 산출물 자체를 ctx에 저장한 뒤 mapping 작업 등으로 recon_slice()에서 결과물을 출력하는 방식을 사용하면 실격 대상입니다. ([rule Q] 직접 계산한 GRAPPA의 추론시간 계측 구간 문의 (prep_volume vs recon_slice) + 시간 상한 초과 시 처리 #406)

4. 채점 관련 규정

• 주어진 leaderboard dataset 이외에 최종 점수 산정에 사용되는 별도의 private 데이터가 존재하며, 반영비는 4:6입니다.
• TieBreaker 점수는 항상 총점에 포함됩니다. (Tie breaker score는 동점자를 대상으로만 이루어지는건가요? #407)
• 2000ms/slice 초과 시 TieBreaker 0점 이외에 별도의 penalty는 없습니다. ([rule Q] 직접 계산한 GRAPPA의 추론시간 계측 구간 문의 (prep_volume vs recon_slice) + 시간 상한 초과 시 처리 #406)

⭐ 5. 서버 미할당 팀의 Challenge 참여 가이드

• Google Colab이나 외부에서 제공하는 GPU 서버를 사용하여 Challenge에 참여해주세요.
• 수령한 데이터를 외부 서버에 업로드하실 때는 DSA 준수에 유의해주세요.
• VESSL 서버 환경에서 학습이 가능한 모델에 한해, 외부 서버에서 채점한 leaderboard score를 업로드하는 것은 (최종 점수를 제외하고) 허용되며, 권장합니다.
  • VESSL 서버의 사양 안내: GTX 1080 서버 사양 문의 #396 참조
• Leaderboard 제출 시 inference time은 공란으로 두면 자동으로 2000ms/slice로 입력되며, 서버 수령 이후에 다시 업로드해주시면 됩니다. (VESSL 서버 미할당자의 Inference Time 제출 방법 및 향후 서버 할당 일정 문의 #402)
• 가지고 계신 연산 자원의 사양이 VESSL 서버보다 낮다고 판단되실 경우, 사용하시는 서버에서 측정한 시간을 업로드하셔도 됩니다. (GTX 1080 서버 사양 문의 #396)
• ⭐ 최종 제출 모델은 반드시 VESSL 서버에서 처음부터 학습해야 하기에, 7월 중으로 모든 참여자가 서버를 최소 한 번씩은 배정받을 수 있도록 회수 작업의 강도를 점진적으로 상향할 예정입니다. 구체적인 회수 시점 및 기준은 사전에 공지되지 않습니다.

6. 기타 규정

• desc의 내용과 달리, 주어진 VarNet의 cascade 수는 12를 초과해도 규정 상 무방합니다. (cascade가 12보다 작아야한다는 train.py의 주석은 추천사항인가요 아니면 제한사항인가요? #404)
• MoE, ensemble, test-time augmentation 사용 가능합니다.
  • recon_eval, MoE 등 룰 관련 문의 #394
  • [rule Q] 직접 계산한 GRAPPA의 추론시간 계측 구간 문의 (prep_volume vs recon_slice) + 시간 상한 초과 시 처리 #406
  • 외부 연산 스크리닝·train k-space 증강/재마스킹·ensemble/TTA·외부 cloud 처리 범위 확인 #409