首页 > 其他分享> 文章详细

论文笔记 - ToAlign: Task-oriented Alignment for Unsupervised Domain Adaptation

2022-08-27 19:00:08 阅读：215 来源： 互联网

标签：Domain Task Unsupervised 特征梯度 ResNet ToAlign 任务对齐

摘要

文章提出了一个 任务导向 的无监督域自适应。认为不是所有的特征都需要对齐，而是根据任务的先验知识，将源域特征分解为与任务相关的要对齐的，和与任务无关的可忽略的。使域对齐主动服务于任务。

1 介绍

以前的 UDA 方法，第一是将源域和目标域整体对齐；第二，是对齐任务和分类任务并行。由于并行，所以缺少使 对齐任务 明确辅助于 分类任务 的机制，这使对齐任务可能会干扰分类任务。

文章提出 ToAlign 的 UDA 方法，使 对齐任务 精确服务于 分类任务。通过先验知识的指导下，使目标特征和积极特征（对任务作用大）对齐，避免消极特征（任务无关）的对齐。

2 相关工作

Grad-CAM : 能够帮我们定位网络对于某个类别的关注区域（即在该网络中，哪里的特征对任务影响力更大）

大致的做法如下：

首先，CNN对于特征信息的提取是层数越高，提取的信息特征越抽象，语义越丰富，也就越是任务需要的特征。所以Grad-CAM使用最后一层的输出特征，它包含了任务最感兴趣的语义信息。那么，对于分类任务而言，不同类别所对应的语义信息是不同的，通过对类别 c的预测值 yc 进行反向传播，得到反传的梯度值，梯度越大，网络认为越重要。

公式：

A代表某个特征层，在论文中一般指的是最后一个卷积层输出的特征层
k代表特征层A中第k个通道(channel)
c代表类别c
A^k代表特征层A中通道k的数据
αkc 代表针对A^k 的权重，就是反传的梯度

3 Task-Oriented Alignment for UDA

域对抗UDAs概述

和 DANN 一致的思想和过程

D 被优化使 Ld 最小，G 被优化使 Lcls 最小、Ld 最大

Ld :

面向任务的特征分解

把源域的输入先走一遍搭建的基础网络，根据grad-cam，会计算反传梯度和最后一个特征层输出的乘积 fp 返回。经softmax激活后，这个就是加权后的特征，把它作为输入走需要的网络。一些计算的公式如下：

ToAlign

与基础的对抗训练相比，只是把 整体的源域特征 替换成了 积极特征 ，引导目标特征和积极特征对齐。

损失函数：

4. 实验

在两个不同的基础方法 DANNP 和 HDA 上应用 ToAlign 看效果，并分别在SUDA（单源无监督域自适应）、MUDA（多源无监督域自适应）、SSDA（半监督域自适应）问题上用了ResNet-50，ResNet-101 和ResNet-34 作为基础骨架。

标签：Domain,Task,Unsupervised,特征,梯度,ResNet,ToAlign,任务,对齐
来源： https://www.cnblogs.com/trillionstar/p/16631234.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9