本文最后更新于 2024-09-26，文章内容可能已经过时。

自监督学习充分利用大量未标记的数据来学习数据结构特征，预训练的权重被转移到下游任务中，以确保良好的初始化。

一方面: 对比学习通过最大化来自同一实例的不同视图之间的相似性来捕获良好的表示，在多个下游任务中实现了竞争性的性能。

另一方面: 掩码图像建模最近在自监督学习中引起了越来越多的关注。MIM不需要特定的数据增强。对下游任务更具鲁棒性。