深度学习生成模型(四)—— 自编码器与表征学习(五十二)

深度学习生成模型(四)—— 自编码器与表征学习(五十二)

1. 定位导航

第 49-51 篇我们看完了生成模型三巨头(VAE/GAN/扩散)。本篇回到基础——自编码器(Autoencoder, AE)。

自编码器 = 表征学习的"心脏"

  • VAE 是它的"生成版本"
  • 现代对比学习、BERT、GPT 都借用了 AE 的思想

Goodfellow 第 14 章开篇:

自编码器是神经网络的一种,经过训练后能尝试将输入复制到输出

听起来很无聊?但通过精心设计约束,AE 能学到有意义的表征——这是整章的精华。

1.1 5 大自编码器流派

流派关键约束
欠完备 AEh 维度 < x 维度(强制压缩)
稀疏 AE大部分 h 接近 0
去噪 AE输入加噪