The masked language model task is the key to bert and roberta. 英文领域： deberta v3：微软开源的模型，在许多任务上超过了bert和roberta，现在kaggle中比较常用此模型打比赛，也侧面反映了deberta v3的效果是最好的。 ernie 2.0：这个百度是只开源了英文版，我. Roberta，全称为“robustly optimized bert pretraining approach”，是 bert（双向编码器表示）的一个改进版，它在自然语言处理（nlp）领域带来了革命性的突破。roberta 是由 facebook ai 开.
Roberta Franco
Roberta：每次给模型看这句话的时候，才 临时、随机地 选择一些词进行 mask。 这意味着模型每次看到的同一句话，要填的“空”都可能不一样。 更大规模 更多的训练数据：bert 使用.
However, they differ in how they prepare such masking.
