AI Model Format Conversion and Inference

Bootcamp Mission 16 | Model Serving

미션 소개

학습 모델을 PyTorch 기본 형식, 양자화 모델, ONNX 형식으로 변환하고 추론 동작과 파일 용량을 비교한 모델 배포 준비 미션입니다.

구현 목표

• 모델 저장 포맷별 특성과 차이를 이해한다.
• 양자화와 ONNX 변환 과정을 수행한다.
• 변환된 모델의 추론 결과를 검증한다.

주요 구현 내용

• KcELECTRA 계열 모델 활용
• PyTorch 모델 저장
• 양자화 모델 저장
• ONNX 변환 및 ONNX Runtime 추론
• 모델 용량 비교

사용 기술

• Python
• PyTorch
• ONNX
• ONNX Runtime
• Transformers
• Jupyter Notebook

실행 방법

pip install -r requirements.txt
jupyter notebook notebooks/modeling.ipynb
jupyter notebook notebooks/inference.ipynb

데이터셋 또는 사전학습 모델이 외부에서 제공되는 경우, 실행 전에 노트북 또는 코드의 데이터 로드 설정을 확인해야 합니다.

폴더 구조

notebooks/    # 모델 변환 및 추론 검증
images/       # 용량·추론 비교 이미지
docs/         # 미션 보고서

학습 내용

• 학습용 모델 형식과 배포용 모델 형식의 역할 차이
• 양자화가 모델 크기와 실행 효율에 미치는 영향

트러블슈팅 및 재현 시 참고 사항

대용량 .pth와 .onnx 모델 파일은 저장소에서 제외했으며 필요 시 외부 아티팩트 저장소로 관리합니다.

결과 확인

모델 크기와 추론 비교는 images/model_size_and_inference_comparison.png 및 보고서에서 확인할 수 있습니다.

포트폴리오 관점

이 저장소는 Model Serving 역량을 학습·실험한 결과물입니다. 구현 범위와 실행 조건은 코드 및 노트북을 기준으로 확인할 수 있습니다.