流形学习和维度灾难|Manifold Learning and the Curse of Dimensionality

本文是对Bengio大神的新作《Deep learning》一书中[5.12.3 Manifold Learning and the Curse of Dimensionality]一节的拙劣翻译,希望能对英文不好的同学理解原著起到一点点作用。

5.12.3 流形学习和维度灾难
让我们来看看一种特殊的机器学习任务类型——流形学习。虽然它是用来消减维度灾难的,我们仍要讨论一下它可以帮助可视化和突显平滑先验法对于高维空间的泛化能力是不足的。第17章将重点关注表示方式学习的流形视角并深入这一课题的更多细节,研究基于神经网络的实践中的流形学习算法。
一个流形是一个连接区域,一个点的集合,每个点相互临近,使得其看起来想一个欧几里得空间。相邻的概念意味着存在一些转换能够使这个流形从一个位置移动到一个相邻的位置。虽然有形式化的数学手段表述相邻概念,但机器学习更倾向于松散地用这个概念去讨论一组连接的点,这组点可以通过只考虑高维空间中很小一部分自由度和维度就能被很好的近似。每个维度对应一个局部变化方向,比如,向某个方向移动流形。我们所说的机器学习中的流形是点的子集,称作嵌入空间(也是一个流形)的子流形。 Read more