2022年6月29日

从向量空间到张量

摘要: 1). 向量空间与对偶空间 上次的文章回顾了线性空间及其维数的定义,更重要的是介绍了线性空间的同构,以及提供了一种在给定有限维线性空间及其某个基的情况下,按照同构确定的相等关系[1]。有了这些背景知识,就可以回答张量理论中什么是反变与协变的问题。 我们定义线性空间上的线性函数。设 $\textcol 阅读全文

posted @ 2022-06-29 16:24 SheltonRo 阅读(348) 评论(0) 推荐(0)

2019年9月19日

信息熵,交叉熵和相对熵

摘要: 0 前言 上"多媒体通信"课,老师讲到了信息论中的一些概念,看到交叉熵,想到这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识,所以查资料加深一下理解。 1 信息熵的抽象定义 熵的概念最早由统计热力学引入。 信息熵是由信息论之父香农提出来的,它用于随机变量的不确定性度量,先上 阅读全文

posted @ 2019-09-19 11:23 SheltonRo 阅读(506) 评论(0) 推荐(0)

导航