2022.07 ~ 2022.09
- 기존의 파견교 목록 파일에서는 파견을 위한 최소한의 정보 (어학요건, 학점 요건) 만 제시되어 있는 경우가 대부분이었음
- 교환학생 파견을 원하는 학생들이 각 학교의 특징에 대해 한눈에 파악하기 힘들며, 시간이 많이 소요된다는 문제점 존재
교환학생 파견을 희망하는 고려대학교 학생들에게,
선호하는 학교 선택 기준 순위 및 정보를 입력 받아 개인 맞춤형 학교를 추천하는 서비스(Web) 제공
- 학교 랭킹, 날씨 정보, 기숙사 정보 등과 같이 공식적인 수치 데이터를 모아서 제공하여 학생 개인이 탐색해야하는 부담감을 줄여준다.
- ‘선배들의 한 마디’ 데이터를 통해 많은 양의 수기 데이터 정보를 정리, 학교의 특징이나 추천 여행지를 제공하여 문제점으로 제시되던 경험자들과의 소통부재 문제를 해결했다.
- 본인이 기준을 선정하여 학교를 추천받아 보다 적합한 교환학교 선택에 도움을 준다.
본 서비스에서 제공하려는 정보를 제작자 임의로 선정하는 것이 아니라 선배들의 경험보고서에서 많이 언급하고, 필요로 했던 정보를 서비스하기 위해 Natural Language Processing을 진행하였다.
고려대학교 국제처에서는 18년 이후 경험보고서를 웹에서 다운로드 할 수 있게 제공하는데 이는 총 2000개에 달하기 때문에 다운로드 작업을 selenium을 통해 자동화 하였다.
경험보고서 파일의 형식은 PDF, HWP가 혼재되어 있다. 자연어 추출을 쉽게 하기 위해 PDF 파일 형식으로 통일
PDF에서 자연어만 추출
경험보고서 항목에 따라 자연어 데이터를 분리
추후 분석에 용이하기 위해 추출한 자연어 데이터를 엑셀에 저장
문장 성분을 형태소에 따라 토큰화
*Mecab이란 ?
- Konlpy에서 지원하는 한글 토큰화 라이브러리
- Kkma, Okt에 비해 빠른 속도를 가지고 있고, 준수한 정확도를 가지고 있음
문장 성분 중 명사만 추출
경험보고서 특성 상 발생하는 단어들 ( 고려, 대학교, 고려대학교, 외국, 경험, 보고서 등)을 제거하는 작업
경험보고서에 어떤 단어가 많이 등장했는지 한 눈에 확인하기 위해 WordCloud 시행
어떤 주제들이 경험보고서에 분포했는지 LDA를 통해 알아봄.