[AI]배치 정규화 (Batch Normalization)
Overfitting방지 기법의 하나인 Training시 입력되는 배치의 분포가 매번 바뀌면, 각 레이어의 output분포가 바뀌–>분포가 크게 바뀌면, Internal Covariate Shift라는 문제 1:레이어의 output분포가 매번 바뀌면서 모델은 학습 방향을 정하지 못한 문제 2:뒤의 레이어의 경우 분포의 차이가 커질 가능성이 있다. 기존의 해결 방법 Careful initialization, but difficult Small learning rate, but slow배치 정규화(Batch n내외 분포의 변화가 크지 않으면 […]
[AI]배치 정규화 (Batch Normalization) Read More »