200128 mBART.md

https://arxiv.org/abs/2001.08210

machine translation을 위한 pretraining. backtranslation이나 예를 들어 한국어 -> 일본어 -> 영어 같은 multistep으로 데이터를 추가로 생성하는 방식 등을 pretraining에 도입할 수 있지 않을까?

#machine_translation #pretraining #nlp