GAN Lecture 3 (2018): Unsupervised Conditional Generation

问题

风格转换任务，没有label ，只有两堆data,machine学习其中的转换

两类做法

1 直接做

差距小，例如颜色，纹理

2 先encoder抽特征，然后decoder根据特征生成

差距大

做法一

问题，G生成梵高风格画作，可以骗过D ，但是所生成的结果与原来的输入X无关

D 判别是否符合梵高风格 ，G 任务不仅仅是生成风格类似的结果，还要保持输入输出一致

做法1 无视这个问题，直接做

有可能work的原因，G的输入和输出差不多

[1709.00074] The Role of Minimal Complexity Functions in Unsupervised Learning of Semantic Mappings (arxiv.org)

论文解释了，直接学习是有可能的，当输入和输出的domain比较接近的时候，一个浅的网络就能学到，但是当domain差距过大就难以实现了

当G很sallow，work

做法2 找一个pre-train的network

[Yaniv Taigman] Unsupervised Cross-Domain Image Generation (arxiv.org)

baseline of DTN :

两个风险：

风险1 ：

风险2：

用一个$f$函数对输入图像$x$和$G$生成的图像$G(x)$进行判别，要它们属于一个domain，两者的距离越小越好

DTN后续改进

改进1

第一个改进是G的网络架构，在f的基础上添加一些层g

改进2

第二个是，使用f来衡量x和生成结果g(f(x))的相似度，同时还要保证参考的图像不变

做法3 CYCLE GAN

[Jun-Yan-Zhu] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (arxiv.org)

cycleGAN存在的问题

[Casey Chu ] CycleGAN, a Master of Steganography (arxiv.org)

论文提到 cycle Gan 学习过程会学到藏东西

DIsco GAN

Learning to Discover Cross-Domain Relations with Generative Adversarial Networks (mlr.press)

Dual GAN

[1704.02510v4] DualGAN: Unsupervised Dual Learning for Image-to-Image Translation (arxiv.org)

主要思想

公式

做法4 Star GAN

论文

CVPR 2018 Open Access Repository (thecvf.com)

公式

adversarial Loss

Domain Classification Loss

Reconstruction Loss

Full Object

做法二

问题：两者没有联系

方法1 共享参数

Couple GAN

Coupled Generative Adversarial Networks (neurips.cc)

UNIT

Unsupervised Image-to-Image Translation Networks (neurips.cc)

方法2 加一个domain的discriminator

[1711.00043] Unsupervised Machine Translation Using Monolingual Corpora Only (arxiv.org)

公式

DENOISING AUTO-ENCODING

CROSS DOMAIN TRAINING

ADVERSARIAL TRAINING

Final Objective function

方法3 Cycle Consistency

CVPR 2018 Open Access Repository (thecvf.com)

方法4 semantic consistency

[1611.02200] Unsupervised Cross-Domain Image Generation (arxiv.org)

公式

Total Loss

Reconstruction loss

Domain-adversarial loss

Semantic consistency loss

generative adversarial loss

Teacher loss