摘要： 一、Word Embedding 1.Word2Vec（2013） 分布式假设：假设两个词上下文相似，则它们的语义也相似。 2.GloVe （1）词向量学习算法有两个主要的模型族： 基于全局矩阵分解的方法，如：latent semantic analysis:LSA 。 优点：能够有效的利用全局的统 阅读全文

摘要： 一、简介 来自论文：《Attention is all you need》 由google团队在2017年发表于NIPS，Transformer 是一种新的、基于 attention 机制来实现的特征提取器，可用于代替 CNN 和 RNN 来提取序列的特征。 在该论文中 Transformer 用于 阅读全文

摘要： 一、RNN 1.展开图 （1）假设$x^{(t)}$为$t$时刻系统的外部驱动信号，则动态系统的状态为$h^{(t)}=f(h^{(t-1)},x^{(t)};\theta)$ （2）当训练RNN根据过去预测未来时，网络通常要讲$h^{(t)}$作为过去序列信息的一个有损的representatio 阅读全文

摘要： 1.余弦距离 适用场景：余弦相似度衡量的是维度间取值方向的一致性，注重维度之间的差异，不注重数值上的差异。 举例：如某T恤从100块降到了50块（A(100,50)），某西装从1000块降到了500块（B(1000,500)），那么T恤和西装都是降价了50%，两者的价格变动趋势一致，可以用余弦相似度 阅读全文

摘要： 命令 含义 cd /home/hadoop #把/home/hadoop设置为当前目录 cd .. #返回上一级目录 cd ~ #进入到当前Linux系统登录用户的主目录（或主文件夹）。在 Linux 系统中，~代表的是用户的主文件夹，即“/home/用户名”这个目录，如果当前登录用户名为 hado 阅读全文

摘要： 一、传统编码-解码机制 设输入序列$\{x^1,x^2,...,x^n\}$，输出序列$\{y^1,y^2,...,y^m\}$，encoder的隐向量为$h_1,h_2,...$，decoder的隐向量为$s_1,s_2,...$。 解码器的输入只有一个向量，该向量就是输入序列经过编码器的上下文向 阅读全文

摘要： 1.随机打乱数组（洗牌算法） 分析洗牌算法正确性的准则：产生的结果必须有 n! 种可能，否则就是错误的。这个很好解释，因为一个长度为 n 的数组的全排列就有 n! 种，也就是说打乱结果总共有 n! 种。算法必须能够反映这个事实，才是正确的。 代码： 2.蓄水池算法 应用场景： 长度未知的海量数据流中 阅读全文

摘要： 一、树的定义 1.定义 树是n(n>=0)个节点的有限集，且这些节点满足如下关系： （1）有且仅有一个节点没有父节点，该节点称为树的根； （2）除根外，其余的每个节点都有且仅有一个父节点； （3）树中的每一个节点都构成一个以它为根的树。 二叉树在满足树的条件时，满足如下条件：每个节点最多有两个孩子（ 阅读全文

摘要： 1.添加目录 【1】https://www.cnblogs.com/clwydjgs/p/9415632.html 2.修改图片大小 <img src="图片地址" style="zoom:50%"> 阅读全文

摘要： 在约束优化问题中，常常用拉格朗日对偶性来将原始问题转为对偶问题，通过解对偶问题的解来得到原始问题的解。 1.为什么要利用对偶？ 首先要明确，对偶问题的解不一定直接等于原问题的解（弱对偶），但是对偶问题有两点性质： 无论原始问题是否是凸的，对偶问题都是凸优化问题 当Lagrange对偶问题的强对偶性成 阅读全文