分布式表示(Distributed Representation)

NLP模型笔记 — 分布式表示

ziuno 2020-03-08 19:52:50 410 收藏 2

分类专栏： NLP 模型 笔记 文章标签： nlp

最后发布:2020-03-08 19:52:50首次发布:2020-03-08 19:52:50

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/ziuno/article/details/104727185

版权

NLP模型笔记 — 分布式表示 [总结]

---

概念

名称	分布式表示
别名	Distributed representation
介绍	若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。

---

原理

非分布式表示

图形	水平矩形	垂直矩形	水平椭圆	垂直椭圆
水平矩形	1	0	0	0
垂直矩形	0	1	0	0
水平椭圆	0	0	1	0
垂直椭圆	0	0	0	1

分布式表示

图形	水平	垂直	矩形	椭圆
水平矩形	1	0	1	0
垂直矩形	0	1	1	0
水平椭圆	1	0	0	1
垂直椭圆	0	1	0	1

表示新种类

非分布式表示	水平矩形	垂直矩形	水平椭圆	垂直椭圆	圆
水平矩形	1	0	0	0	0
垂直矩形	0	1	0	0	0
水平椭圆	0	0	1	0	0
垂直椭圆	0	0	0	1	0
圆	0	0	0	0	1

分布式表示	水平	垂直	矩形	椭圆
水平矩形	1	0	1	0
垂直矩形	0	1	1	0
水平椭圆	1	0	0	1
垂直椭圆	0	1	0	1
圆	1	1	0	1

对比

对比	独热编码	分布式表示
稀疏/稠密	稀疏	稠密
语义表示	高纬向量中只有一个维度描述了词的含义	语义分布式地存储在向量的各个维度中
新种类	需要添加一个新的维度	可能不需要添加新维度就能够表示

参考

分布式表示
含义/对比