论文理解
扩散模型反演
利用扩散模型的反馈优化图片理解模型
如何将扩散模型的生成能力用于提升判别模型的能力:
- 生成模型反演用作判别模型
- 生成模型用于数据增强
- 生成模型直接用作特征提取器
利用扩散模型的梯度反馈来优化图片理解模型(判别模型)的方法属于基于反演的方法(Inversion-based)。给定图片x和条件生成模型pϕ(x|c),通过最大化生成模型的似然,来反演得到条件嵌入 c 。
将判别模型的输出作为文生图模型的条件输入,利用文生图模型的梯度反馈来更新判别模型,从而改善判别模型的表征质量。有点 GAN 反着用的感觉。 GAN 是判别模型倒逼生成模型生成更加真实的样本,而 DIffTTA 是生成模型倒逼判别模型生成质量更高的表征。