https://arxiv.org/abs/2006.16992
Deep Isometric Learning for Visual Recognition (Haozhi Qi, Chong You, Xiaolong Wang, Yi Ma, Jitendra Malik)
컨볼루션과 relu를 isometric하게 초기화 & regularize해서 normalization 없이 학습에 성공. 더 isometric하게 만들어주는 residual connection이 들어가면 원 resnet과 동등한 결과. #normalization #resnet #cnn #backbone
#norm_free