搜索
您的当前位置:首页正文

Automatic Unpaired Shape Deforma

来源:二三娱乐

这篇paper主要是做运动迁移的。现有Shape Deformation Transfer的问题:

  • 要求成对数据
  • 或要求point-wise的对应关系


    运动迁移示意图

    以上图为例,要把一个瘦子(source域)的动作迁移到胖子(target域)身上。传统的做法往往需要一一对应的动作数据,或者是point-wise的对应关系。所谓point-wise,指的是人体三维模型的每一个顶点对应关系(人体三维模型可以看成是很多个小三角形组成)。显然这两种要求都不太现实。

解决办法

  • 使用VAE-CycleGAN解决上述问题。
  • 加入相似性约束,使得运动迁移过程中,保持identity信息不变。

下面对这两点进行详细解读:

使用VAE-CycleGAN

VAE-CycleGAN
上图是模型的训练过程,下图是推断过程。整个网络结构清晰易懂。
推断过程中,输入图片通过Encoder提取特征,然后利用 similarity network

模型的损失函数

模型的损失显然包括三部分,GAN Loss,Cycle consistency loss,similarity network loss。

模型loss
Top