标签：domain Semantic Semi Universal backbone encoder CS 数据 Cityscapes
论文原文原文地址
Motivations
- 传统的训练方式需要针对不同 domain 的数据分别设计模型，十分繁琐（deploy costs）
- 语义分割数据集标注十分昂贵，费时费力
Contributions
- 本文提出的统一模型可以实现跨领域统一训练
- 模型使用少量的标注数据和大量未标注数据（半监督模型）
网络架构/方法实现
-
基本结构：一个encoder和n个decoder（decoder数量和domain的数量相同）
-
基本设定：假设共有两个数据集domainA和domainB，每个domain中都包含少量有标签的数据和大量无标签的数据
-
具体实现：将不同domain的数据集中有标签的数据汇集为labeled set，无标签的数据集合为unlabeled set。
对于labeled set，使用传统的监督学习的方法，将所有image送入共享的encoder，再根据image所属的域将encoder的输出送入对应的decoder中，与标签对比，用交叉熵函数计算监督损失 \(L_s\)。
对于unlabeled set，先将image送入encoder(F)，再将encoder的输出送入Entropy Module。Entropy Module先将特征图投影到d维(E)，再分别计算与这个image相同或不同domain的label embedding相似度 \(v\)
其中相似度的计算是通过点乘实现的非监督损失分为两个部分：cross dataset entropy loss和within dataset entropy loss
cross dataset entropy loss：
within dataset entropy loss：
总损失：
实验部分
**数据集 :Cityscapes (CS), CamVid (CVD) ,Indian Driving Dataset (IDD) **
Table2: 当N= 100，backbone为resnet18时，此方法在Cityscapes (CS), CamVid (CVD)两个数据集上的表现对比
注：Univ-basic：总损失函数后面两项系数为0，Univ-full：总损失函数最后两项系数均为1
Table3: 当N= 100，N= 50时，backbone为resnet18时，此方法在Cityscapes (CS), CamVid (CVD)两个数据集上的表现对比
注：Univ-basic：总损失函数后面两项系数为0；Univ-cross：总损失函数最后一项系数为0，倒数第二项系数为1；Univ-full：总损失函数最后两项系数均为1
Table4: 当N= 375时，backbone为resnet101时，此方法在Cityscapes (CS)+CamVid (CVD)两个数据集上训练后分别测试的表现
Table5: 当N= 100，N= 1500时，backbone为resnet18，resnet50时，此方法在Cityscapes (CS)+Indian Driving Dataset (IDD) 两个数据集上训练后分别测试的表现
Table6:使用Resnet50作为backbone时，在不同domain上的分割效果展示（CS为自动驾驶数据集，SUN常用于室内景象分割）
标签：domain,Semantic,Semi,Universal,backbone,encoder,CS,数据,Cityscapes 来源： https://www.cnblogs.com/qiqiblogs/p/15861179.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。