虚拟试衣Try- on论文中知识点

PPT展示


<br

Spatial Transformer Networks（STN）是什么

  • 它不仅可以对输入进行空间变换,同样可以作为网络模块插入到现有网络的任意层中实现对不同Feature map的空间变换。变换方式包括对平移、尺度变换、旋转和更多常见的扭曲的不变性。

  • 数学原理和部分代码参考1

  • 数学原理和部分代码参考2

Thin Plate Spline（TPS，薄板样条）
  • Thin Plate Spline（TPS，薄板样条）插值是常用的2D插值方法，它可以对平面/表面进行柔性的变形
  • 它的物理意义是：假设在原形状中有N个点A_n，这N个点在形变之后新坐标之下对应新的N个点B_n。用一个薄钢板的形变来模拟2D形变，确保这N个点能够正确匹配，那么怎样的形变，可以使钢板的弯曲能量最小？
  • 数值算法和py代码，参看https://www.jianshu.com/p/2cc189dfbcc5
ground truth

  • 在有监督学习中，数据是有标签的，以(x, t)的形式出现，其中x是输入数据，t是标注.正确的t标注是ground truth， 错误的标记则不是。（也有人将所有标注数据都叫做ground truth）

  • 由模型函数的数据则是由(x, y)的形式出现的。其中x为之前的输入数据，y为模型预测的值。

    • 标注会和模型预测的结果作比较。在损耗函数(loss function / error function)中会将y 和 t 作比较，从而计算损耗(loss / error)。
虚拟试衣讲课，遇到的问题
  • 讲课要有重点，该掠过的地方就掠过
  • 讲解网络的时候，也需要知道网络的目的是什么？

多指标联合自适应Reid方法

PPT展示