Embedding是什么?详解nn.Embedding

Embedding是什么?

其为一个简单的存储固定大小的词典的嵌入向量的查找表,意思就是说,给一个编号,嵌入层就能返回这个编号对应的嵌入向量,嵌入向量反映了各个编号对应的符号的语义信息(蕴含了所有符号的语义关系)。

输入为一个编号列表,输出为对应的符号嵌入向量列表。

pytorch中的使用

#建立词向量层
embed = torch.nn.Embedding(n_vocabulary,embedding_size)

简单解释

embeding是一个词典,可以学习。
如:nn.Embedding(2, num_hiddens)就是一个embedding。
输入索引,可以查到对应的向量值。
segments = torch.tensor([[0, 0, 0, 0, 1, 1, 1, 1], [0, 0, 0, 1, 1, 1, 1, 1]])就是一个segment的索引矩阵,用self.segment_embedding(segments)之后就可以得到它的向量值。

引用

posted @ 2021-11-15 11:41  zae  阅读(1885)  评论(0编辑  收藏  举报