lypbendlf - 博客园

2020年6月17日

摘要：所含的包可以在这里下载：http://www.nltk.org/nltk_data/ 1.WordNetLemmatizer提取词干确定词根 import nltk nltk.download('wordnet') lemmatizer = WordNetLemmatizer()#确定词源 pri 阅读全文

posted @ 2020-06-17 20:32 lypbendlf 阅读(748) 评论(0) 推荐(0)

2020年6月16日

VAE原理再理解||各种变形

摘要：转自：http://www.gwylab.com/note-vae.html 1.VAE模型架构损失函数方面，除了必要的重构损失外，VAE还增添了一个损失函数（见上图Minimize2内容），这同样是必要的部分，因为如果不加的话，整个模型就会出现问题：为了保证生成图片的质量越高，编码器肯定希望噪阅读全文

posted @ 2020-06-16 22:01 lypbendlf 阅读(3774) 评论(0) 推荐(0)

AAE对抗自编码器

摘要：译自：https://hjweide.github.io/adversarial-autoencoders 1.自编码器AE作为生成模型我们已经简要提到过，编码器输出的属性使我们能够将输入数据转换为有用的表示形式。在使用变分自动编码器的情况下，解码器已受过训练，可以从类似于我们选择的先验样本的样本阅读全文

posted @ 2020-06-16 21:47 lypbendlf 阅读(4803) 评论(0) 推荐(1)

N种attention

摘要： https://www.cnblogs.com/BlueBlueSea/p/13137757.html，是我这篇文章的一个深入和展开吧 1.总结转自：https://zhuanlan.zhihu.com/p/91839581 2.CNN/LSTM+ATT 对cnn结合att的过程不太明白。 3.适阅读全文

posted @ 2020-06-16 12:13 lypbendlf 阅读(158) 评论(0) 推荐(0)

2020年6月15日

GAN损失函数

摘要： https://zhuanlan.zhihu.com/p/33752313，讲的不错。 1.损失函数第一项主要是针对真实样本的，第二项是针对生成样本的损失。 //判别器是尽可能地判别出是真实数据还是生成数据，我一直以为是尽可能判别不出呢。。。 2.训练过程可以看到是先确定G，优化D，确定了优化D 阅读全文

posted @ 2020-06-15 23:02 lypbendlf 阅读(1762) 评论(0) 推荐(0)

巴氏距离

摘要： https://blog.csdn.net/v_july_v/article/details/8203674，介绍了很多距离 1.巴氏距离（Bhattacharyya Distance）对于离散概率分布 p和q在同一域 X，它被定义为：阅读全文

posted @ 2020-06-15 22:01 lypbendlf 阅读(727) 评论(0) 推荐(0)

transformer的encoder和decoder学习

摘要： https://www.infoq.cn/article/lteUOi30R4uEyy740Ht2，这个后半部分讲的不错！ 1.Transformer Encoder （N=6 层，每层包括 2 个 sub-layers）：上面这个图真的讲的十分清楚了。 multi-head self-atten 阅读全文

posted @ 2020-06-15 21:10 lypbendlf 阅读(5907) 评论(0) 推荐(0)

Attention历史梳理

摘要： https://zhuanlan.zhihu.com/p/77307258，这篇写的简直太好了，不愧是阿里啊！ https://www.infoq.cn/article/lteUOi30R4uEyy740Ht2 1.attention计算分为三步 score-function：打分部分 normal 阅读全文

posted @ 2020-06-15 20:50 lypbendlf 阅读(432) 评论(0) 推荐(0)

Attention中的qkv与机器翻译中的对应关系

摘要： https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78422216，这篇讲的非常好，解决了我的好多疑问。 1.机器翻译中计算权重和概率其中aij是通过si-1和hj计算得到的，也就相当于qk，那么上式中的hj也就是v，在这里k=v 阅读全文

posted @ 2020-06-15 18:31 lypbendlf 阅读(3344) 评论(0) 推荐(1)

2020年6月14日

numpy.copy和torch.tensor的cpu/gpu

摘要： 1.在cpu上 import torch import numpy as np a=torch.tensor(2) b=np.copy(a) # >>> b array(2, dtype=int64) 在cpu上是没有可以随意转换的，但是如果这样： import torch import numpy 阅读全文

posted @ 2020-06-14 18:54 lypbendlf 阅读(688) 评论(0) 推荐(0)

公告