https://arxiv.org/abs/2004.11545
Dropout as an Implicit Gating Mechanism For Continual Learning (Seyed-Iman Mirzadeh, Mehrdad Farajtabar, Hassan Ghasemzadeh)
dropout이 catastrophic forgetting에 미치는 영향. dropout이 적용되면 새로운 과제를 학습했을 때 이전 과제에 대한 성능이 더 안정적인 모델을 학습시킬 수 있음. dropout과 batch norm은 정말 끝없이 연구 과제를 내놓는 주제.
#regularization