ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

meta-learning 和 few-shot learning

2021-10-17 21:59:21  阅读:224  来源: 互联网

标签:set shot support few meta learning query


meta-learning

machine learning:由给定的learning algorithm f 和D_train学得函数f*,f*能完成当前任务

meta-learning:学一个函数F,F能找到适用于当前任务的learning algorithm f,再由f和D_train学得函数f*,f*能完成当前任务

machine learning的目标是学得f*,meta-learning的目标是学得F

为什么F能找到 适用于当前任务的learning algorithm f ?因为它通过学习之前个若干个machine learning任务,学会了一些learning skills,有了这些learning skills,就能很快找到新任务上(也就是当前任务)的learning algorithm

few-shot learning

large-scale training set, few-shot support set, one query:

preview

在large-scale的training set上训练一个Siamese network,得到一个feature extractor f

n-way k-shot的support set(few-shot,指k很小,比如k=1)中的n个类别没有在training set中出现过,想要知道query sample属于support set中的哪一类 

将query sample和support set中的各类样本进行对比,对比的方式为:计算support set中各类的feature vector和query sample的feature vector的余弦相似度:

preview

preview

当然这样效果可能还不太好,因为feature extractor从未见过support set中的这些类,所以可以用support set中的少量样本来fine tune一个softmax分类器:

preview

softmax分类器中的权重初始化为M

preview

训练出softmax分类器的W和b后,最后query sample的预测为:

preview

meta-learning和few-shot learning的关系:

 比如上面的few-shot learning的例子,是有了large-scale training set上进行图片相似度判断(相当于之前任务)的经验,要在新的类别上判断query sample所属类别(相当于新任务),即使新类每类只有少量support样本也能迅速学会如何判断新类类别

参考:

【Meta Learning学习笔记】Meta Learning详解_a312863063的博客-CSDN博客

Few-shot Learning 小白入门笔记 - 知乎 

求问meta-learning和few-shot learning的关系是什么? - 知乎 

标签:set,shot,support,few,meta,learning,query
来源: https://blog.csdn.net/qq_41021141/article/details/120760988

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有