Feature:特征,最早传统 ML 的说法。

Representation:DL 之后,表示都是学出来的。

Embedding:降维的说法,指把一个高维数据嵌入到低维空间里(想象把一个三维点压扁到一个二维平面里,就像把数据点嵌入进去一样)。

在 DL 的语境下,三个意思都差不多。Representation 和 Embedding 是包含关系,Representation 包含 Embedding。有些 Representation 可能是稀疏的,例如在 NLP 里,如果用 tfidf 来表示文本,Representation 里可能包含很多 0,维度很大。此时对应的是通过 DL 的模型来学习到的一个稠密的 Representation,在一个相对小很多的维度里就能把文本表示了。这种稠密的表征也就叫做 Embedding。

在 CV 里,最早把所有学到的表征都叫做 Representation。”deep learning is representation learning.“ - kaiming。

Representation 更加强调学习机制(背后的 nn)。Embedding 是 Representation 的结果,强调它的功能;即数据被映射到高维空间的结果。而 Embedding 又被用作 Features,比如一层的 embedding 结果传到下一层,不去强调数据映射,只是跟任何高纬度数据一样处理,就是 Features。