标签：学习 Transformer BeiT SSL 监督 MAE ViT

课程九学习笔记: 自监督ViT算法：BeiT和MAE

• 1. SSL在NLP中的应用：
• 2. Bert
• 3. BeiT
• 4. MAE：Masked Autoencoders Are Scalable Vision Learners
• 5. 实践：Config配置和实验分开进行

自监督+ Transformer

1. SSL在NLP中的应用：

1. Self-Supervised Learning (SSL)：通过自己“监督”自己的方式学习通用特征表达，用来作为下游任务的预训练或者backbone。（自监督学习SSL：假装看不到输入的某一部分 ，然后学习怎么去预测它！）
2. Bidirectional Encoder Representations from Transformers ：(BERT)
   （1）Transformer的Encoder
   （2）Self-Supervised Learning ( SSL )
   

标签：学习,Transformer,BeiT,SSL,监督,MAE,ViT
来源： https://blog.csdn.net/qq_37486501/article/details/121763882

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。