220216 Vision Models Are More Robust And Fair When Pretrained On Uncurated Images Without Supervision.md

https://arxiv.org/abs/2202.08360

Vision Models Are More Robust And Fair When Pretrained On Uncurated Images Without Supervision (Priya Goyal, Quentin Duval, Isaac Seessel, Mathilde Caron, Mannat Singh, Ishan Misra, Levent Sagun, Armand Joulin, Piotr Bojanowski)

regnet + swav + instagram 1B. 이전에 instagra 해시태그로 weak supervision을 했던 것의 발전형 같은 느낌도 드네요. 해시태그에 국한될 필요가 없으니 더 다양한 지역의 데이터를 활용할 수 있고 결과적으로 fairness 향상. robustness도 마찬가지로 향상되긴 합니다.

#self_supervised