英文领域： deberta v3：微软开源的模型，在许多任务上超过了bert和roberta，现在kaggle中比较常用此模型打比赛，也侧面反映了deberta v3的效果是最好的。 ernie 2.0：这个百度是只开源了英文版，我. A robustly optimized bert pretraining approach 作者单位： 华盛顿大学 保罗·艾伦计算机科学与 工程学院，facebook ai 这篇文章是 bert 系列模型和 xlnet 模型的又一次交. However, they differ in how they prepare such masking.
The Roberta Franco Scandal What They Don't Want You To See Truth or
The original roberta article explains it in section 4.1:
The masked language model task is the key to bert and roberta.
