Gait Analysis
应用场景
视频监控，法医鉴定， 证据搜集
技术难点
步态识别易受到如下因素干扰:
- 目标相关的： 行走速度， 服饰， 携带物;
- 设备相关的： 相机帧率， 分辨率；
- 环境相关的： 相机视角，光照条件等.
上述干扰因素中，相机视角最棘手。
概览
方法分类: 一种方式按照使用的信息源的不同分成 appearence-based 和 model-based 方法; 另一种是按照数据输入方式不同分成 template-based 和 sequence-based 方法。
按信息源不同
- appearence-based method
这类方法使用平均剪影图（silhouette）提取特征, 代表方法 （GEI, GEnI）.- 优点：计算复杂度低
- 缺点：对服饰、携带物、视角等变化敏感
- model-based method
该类方法常利用人体关键点提取步态特征.- 优点：比 Appearence-based 方法更加稳健
- 缺点：（1） 更高计算复杂度 （值得商榷，毕竟分割得到剪影图计算量也不低）； （2） 依赖 Pose 估计精度.
按数据处理方式不同
- template-based method
该种方法首先获取每一帧的轮廓图，然后生成步态模板，并通过步态模板提取特征，最后通过欧氏距离或者度量学习的方法学习相应的特征表达。 - sequence-based method
该类方法直接将一组轮廓图序列作为输入。按照提取时序信息的不同可以分为 LSTM-based 和 3D-CNN 方法。这类方法的优点是能够关注每一个轮廓图，获得更多的空时信息。缺点就是计算量比较大。
Noisy Labels
IEG: Robust Neural Network Training to Tackle Severe Label Noise
- authors: Zizhao Zhang, Han Zhang, Sercan Ö. Arık, Honglak Lee, Tomas Pfister (Google AI)
Three Key Insights
- Isolation of noisy labels;
- Escalation of useful supervision from mislabeled data;
- Guidance from small trusted data (2‰ trusted data).
两个问题
- 半监督训练中是否有必要抛弃具有噪声标签的数据?
- 如何从噪声标签个中提取有效信息?
创新点
- A meta learning based re-weighting and re-labeling
- Label estimation
- Unsupervised regularization
Active Learning
目的：
- 选取样本类别不平衡情形下样本数偏少的类别；
- 选取难样本。
主动学习解决的是在有限标注样本条件下, 从大量未标注样本中挖掘有价值的样本提升模型性能. 其方法可以分为 membership query synthesis, stream-based selective sampling 和 pool-based sampling 三类方法。
对于一批未标注样本, 根据样本的选取策略可以划分为三种方法:
Uncertainty-based method: 定义和度量样本的不确定性, 并选取不确定的样本;
Diversity-based method: 从未标注的数据池中选取多样性样本以代表整个样本池的分布;
Expected model change: 选取能够给当前模型参数带来最大改变的样本.
Query By Committee: train several different models on the labeled set and look at their disagreement on examples in the unlabeled set.
Question
1) 在神经网络中， 为何不直接是用 softmax 分数作为不确定性的概率？
神经网络的训练过程使训练样本的 softmax 分数越接近 one-hot, 输出结果是过度自信的。所以若无正则，输出结果的分布是不可靠的。
Conlusion
Uncertainty sampling is a strong algorithm even in large batch sizes.
An Overview on Multi-Task Learning
多任务学习 (Multi-task Learning) 已应用到诸多任务, 例如计算机视觉中的目标检测, 通常采用 “分类” + “回归” 多任务模式, Semantic Segmentation 或 Instance Segmantation 也会采用类似的方法. 更直接的应用是多属性识别, 每个属性当成一个任务, 最后将各分支损失函数加权并计算梯度回传. 本 Blog 旨在总结多任务学习的文献, 通过阅读解决遇到的问题.
多任务学习中遇到的问题主要有:
- Shared Layers
- Class Imbalance
- Task Weight
- Negative Transfer
(1) 什么情况下容易发生 Negative Transfer?
- 所有任务不相关, 难以找到恰当的共同潜在表示
- 一组相关的任务在训练过程中占据了主导, 从而导致非主导性的任务性能很差.
Large-Scale Long-Tailed Recognition in an Open World
Ziwei Liu, Zhongqi Miao, Xiaohang Zhan, Jiayun Wang, Boqing Gong, Stella Yu. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019 (Oral)
这篇文章是 2019 年 CVPR 的 Oral, 4 月 10 号才发布到 arXiv 上. 该文章将 imbalance classification, few-shot learning 和 open-set recognition 三者整合到一起研究, 分量十足. 无论是对于学术界还是工业界, 都有很强的指导意义.
此外, 作者还提供了 Pytorch 的源码, 良心作品有木有.
作者刘子纬是汤晓鸥的学生, 在很多领域都有突出的贡献. 第一次了解他是在 2017 做项目需要实现他 2014 年发表在 SIGGRAPH Asian 上多帧降噪的文章 “Fast Burst Images Denoising”, 时间虽然久远, 当是好想他提供源码啊啊啊 :joy:…… 后面自己硬着头皮实现了, 效果真的不错.
