GAN Lecture 5 (2018): General Framework

f-divergence

不同的f,会产生不同的 divergence

Fenchel Conjugate

每一个 f 都有一个 f* 和他对应 ，哪一个t会使得f*(t)最大，

x为定义域，t为自变量，使得f(t)最大

另一种方法，直接绘制 xt-f(x) ,给定一个t , 找出最大的 f*(t)

举例说明

举例证明

和GAN有关

不同的divergence

[1606.00709] f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization (arxiv.org)

Mode Collapse

Mode Dropping

一个远古的猜想 divergence的原因？