https://arxiv.org/abs/2002.08155
CodeBERT: A Pre-Trained Model for Programming and Natural Languages (Zhangyin Feng, Daya Guo, Duyu Tang, Nan Duan, Xiaocheng Feng, Ming Gong, Linjun Shou, Bing Qin, Ting Liu, Daxin Jiang, Ming Zhou)
코드와 문서를 결합해서 프리트레이닝하기. 깃헙에서 코드 검색들이 추가되는 것도 그렇고 이런 작업을 종종 하는 듯. 데이터는 코드에 포함된 주석들을 사용해서 구축. 당신의 문서화, 버트 학습 데이터로 대체되었다.
#bert #pretraining