https://arxiv.org/abs/2006.07733
Bootstrap your own latent: A new approach to self-supervised Learning (Jean-Bastien Grill, Florian Strub, Florent Altché, Corentin Tallec, Pierre H. Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Rémi Munos, Michal Valko)
네거티브 샘플을 사용하는 contrastive learning과는 달리 ema 버전 네트워크의 출력과의 차이를 최소화시키면서 self supervision을 수행하는 방법. supervised learning 결과에 거의 근접!
#contrastive_learning