论文理解

2024-10-22

扩散模型反演

利用扩散模型的反馈优化图片理解模型
如何将扩散模型的生成能力用于提升判别模型的能力：
- 生成模型反演用作判别模型
- 生成模型用于数据增强
- 生成模型直接用作特征提取器
利用扩散模型的梯度反馈来优化图片理解模型（判别模型）的方法属于基于反演的方法（Inversion-based）。给定图片 $x$ 和条件生成模型 $p_ \phi (x | c)$ ，通过最大化生成模型的似然，来反演得到条件嵌入 c 。
将判别模型的输出作为文生图模型的条件输入，利用文生图模型的梯度反馈来更新判别模型，从而改善判别模型的表征质量。有点 GAN 反着用的感觉。 GAN 是判别模型倒逼生成模型生成更加真实的样本，而 DIffTTA 是生成模型倒逼判别模型生成质量更高的表征。