Math-for-DeepLearning

CVL Math Study

Index

아래 모든 내용에는 Latex 수식과 관련된 설명이 포함되어 있습니다

선형대수학

• 벡터와 행렬 연산
  • 벡터와 행렬의 이해
  • 외적과 내적
  • 정사영과 코사인 유사도
  • 텐서와 행렬 연산
  • 벡터와 행렬의 미분
• 고유값과 고유벡터
  • Determinant의 기하학적 의미
  • 일차 독립, 일차 종속의 기하학적 이해
  • Low Rank 행렬이란?
  • 고유값과 고유벡터의 기하학적 이해
• 선형 변환
  • 선형 변환과 행렬
  • 선형대수로 바라본 Layer
  • 선형 변환과 위상동형사상 (w/ 매끄러운 매니폴드 가정)
  • 분포를 이용한 선형변환
  • GAUSS-SEIDEL, Jacobi 반복법

확률과 통계

• 확률 분포
  • 표본, 모집단, 평균, 분산
  • 이산확률분포와 연속확률분포,확률질량함수와 확률밀도함수
  • 중심극한정리의 이해
  • 베르누이분포, 정규분포
• 가우시안 분포와 베이즈 정리, 정보량
  • 가우시안분포와 가중치 초기화
  • 일상 생활에서의 조건부 확률
  • 베이즈 정리는 왜 딥러닝에서 중요할까?
  • 정보량과 Entropy
  • KL 정보량, JS 정보량
  • 피어슨 카이제곱 정보량, 총변동, 와셔스타인 정보량

미분과 최적화

• 함수의 극한과 연속성
  • 적분의 정의, 적분 가능성
  • 적분 (정적분, 부정적분, 확률밀도함수와 연계)
  • 미분의 정의, 미분 가능성
  • 미분 (편미분, 체인 룰, 고차 미분)
  • 테일러 급수, 매클로리언 급수 전개
• 해석적 미분과 수치적 미분, 변분법
  • 일반적인 Task에서 해석적 미분의 한계
  • 수치적 미분과 컴퓨팅 한계
  • 변분법
• 근사해 탐색
  • 뉴턴 방법
  • 경사 하강법(GD, SGD, Adam, RMSprop)
  • 역전파
  • Loss의 설정과 정보량
  • 딥러닝에서 해는 무엇을 의미할까?