weak-shot-classify

weak-shot learning–classify

背景

在弱样本图像分类任务中，base训练样本具有干净的图像标签，但是novel训练样本的标签中中则包含噪声，因为novel训练样本通常是用类别作为查询从网页上爬取的数据。

Webly Supervised Learning Meets Zero-shot Learning: A Hybrid Approach for Fine-grained Classification

论文出发点

细粒度图像分类的目标是区分不同子类别之间的细微差别，但是会面临巨大的细粒度类别的注释成本。现有的工作主要是两个方向：1. 利用免费可用的网络图像。2. 只注释一部分细粒度类别并将知识转移到其他细粒度类别。本文提出了联合利用网络图像和辅助标记类别来预测与任何良好标记的训练样本无关的测试样本。

其中ZSL假设有一部分完全标注的训练样本，需要识别测试集的细粒度样本，测试集的样本与训练集没有交集，训练集和测试集之间的差别通过全部样本的语义信息来进行调和。

本文提出了一种新的学习场景，结合了网络监督学习和ZSL。给定一组细粒度的测试类别，这些类别与任何标记良好的训练图像都没有关联，可以抓取测试类别的网络图像作为弱监督形式，同时利用完全标注的其他细粒度类别。从另一个角度来看，当给定属于一个类别的所有细粒度类别的整个集合时，只需要标记几个细粒度类别，然后可以借助网络数据预测所有剩余的细粒度类别。

本文提出的方法相较于ZSL多了网络数据的加入，相较于WSL多了完全标注的数据的知识迁移。

网络架构

从图中可以看出，整个网络的过程是：

• 根据测试类别的名字从网络中爬取相应的网络图像
• 对所有图像提取深度视觉特征
• 基于所有类别的类别名使用语言模型来提取这些类别的语义表示
• 根据提取的视觉特征和语义表示来预测测试集的预测结果

这里的weak-shot体现在两个方面：

• 根据试类别从网上爬取了具有噪声的网络训练数据
• 使用所有类别的语义信息

知识迁移

通过两阶段实现从全监督类别到弱监督类别的迁移，学习两个视觉-语义字典：

第一阶段学习全监督类别字典：

第二阶段，最小化测试类别和训练类别字典之间的范数距离来使两个字典尽可能接近，同时使用核范数来使测试数据的语义表示尽可能低秩（来自同一类别的图像数据的语义表示相似）：

进一步使用具有噪声的网络数据，第二阶段的目标函数可以进行扩展：

扩展的第一项是为了解决网络数据和测试数据之间域分布不匹配的问题（MMD），第二项是用group-lasso正则来压缩网络数据的标签噪声。

目标函数优化

利用增广拉格朗日乘子来对目标函数进行优化（目标函数优化问题可以借鉴这篇文章）

实验结果

结果：

网络数据对实验结果的贡献与网络数据的噪声有很大的联系，噪声越多，实验结果越差。

Weak-shot Fine-grained Classification via Similarity Transfer

背景

细粒度图像分类需要大量完全标注的样本，成本很大。本文提出利用相似度来对网络数据降噪实现利用网络数据来对novel样本进行WSL。

贡献

• 提出使用迁移相似度来对网络数据进行降噪
• 提出两种使用迁移相似度的方法来解决标签噪声问题：权重采样和图正则
• 在相似度网络中应用对抗损失来改善相似度迁移的效果

相关工作

1. few shot learning

分为三种类别：

• 基于优化的方法在大量学习任务上优化分类器
• 基于内存的方法应用存储架够来存储关键训练数据或者直接编码快速自适应算法
• 基于度量的方法使用特征空间中的相似度度量来学习深度表示并且以最近邻方式来分类测试数据

方法

训练过程包括两阶段：在base训练集上学习相似度网络、在novel训练集上学习分类器

在base训练集上学习simnet

输入mini-batch base类别数据，通过backbone提取出特征值之后进行两两配对concat之后构成一组特征对，接入一层全连接层提取出relation feature，由二值标签分类损失进行监督训练一个相似度网络。

对抗损失：

为了降低base类别和novel类别之间的域差别，提出加入对抗损失，鉴别器接收relation features并且识别是否来自base类别还是novel类别，simnet作为生成器来生成relation features不仅要迷惑鉴别器还要改善relation分类

在novel训练集上学习分类器

为了解决标签噪声的问题，提出两种方法：

1. 采样加权

2. 图正则

图正则可以维持一个合理的特征图架构并且促进特征学习

完整的目标函数：

实验

backbone采用resnet50

数据集情况如下：

消融实验：

相似度迁移的证明：

成对相似度的优势：

base训练集大小的影响：

与之前方法的比较（网络监督学习和迁移学习）：

总结