摘要: 1: LSTM结构推导,为什么比RNN好? 答案:推导forget gate,input gate,cell state, hidden information等的变化;因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的,RNN是叠乘,因此LSTM可以 阅读全文
posted @ 2017-07-24 17:22 LarryGates 阅读(11726) 评论(0) 推荐(0) 编辑
摘要: 现在很多速成班,甚至很多大学数学都没学好的人都号称自己是什么机器学习算法专家,真的是可笑; 我是突然想到这点,就写出来记录一下; 我个人感觉要真的能把机器学习做到活学活用的水平,还是很难的,就算是我这种数学和统计出身的人,也最多只能说自己略懂一点; 上次看个句子对抗句子生成网络的文章,里面用到了po 阅读全文
posted @ 2017-06-07 11:34 LarryGates 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 我放在了我的github上,见: https://github.com/Larryjianfeng/NLP- 阅读全文
posted @ 2017-05-17 18:15 LarryGates 阅读(743) 评论(0) 推荐(1) 编辑
摘要: 神经网络里面的一些autoencoder的介绍; 阅读全文
posted @ 2017-05-10 18:00 LarryGates 阅读(7352) 评论(0) 推荐(1) 编辑
摘要: 因为后端的服务很负责,训练的模型都是基于python的tensorflow的,所以用RPC(remote procedual comminication); 接口用的是php写的,方便http协议调用; 过程就是http:www.../... -> nginx-> POST -> 参数传到test. 阅读全文
posted @ 2017-03-21 19:25 LarryGates 阅读(1896) 评论(0) 推荐(0) 编辑
摘要: dbscan是一个简单的聚类算法,之前做了word2vec后需要找相似的词,于是自己用python实现了一个; 这个算法很简单也很快,sklearn也有实现方法,但是我需要自定义距离的计算方式,sklearn貌似不提供,所以自己写了一个类,见下面代码;有需要随意拿去用; 阅读全文
posted @ 2017-03-17 14:21 LarryGates 阅读(832) 评论(0) 推荐(0) 编辑
摘要: VAE是一个神奇得算法,其实思想倒是有点像word2vec,只是在其上加了一层bayesian的思想,这点上又倒是有点像LDA了; 个人觉得,VAE挖掘的好的话,倒是有很大的潜力和应用的,因为它是真正意义上的无监督的,句子表示成向量之后,然后你就可以想干嘛就干嘛了; 简单介绍一下VAE,就是一个变分 阅读全文
posted @ 2017-03-17 14:15 LarryGates 阅读(3817) 评论(2) 推荐(0) 编辑
摘要: 做了这么长时间的基于深度学习的NLP,愈发可以感受到bayesian的意思,语言模型里面一切皆是分布,问题答案都是分布,一个问题模拟出来的是一个答案的分布; 我觉得我做的最好的一个聊天模型,就是先将问题表示成一个100维的高斯分布,然后计算各个答案跟这个分布的契合概率,当然这个模型肯定不能放出来,但 阅读全文
posted @ 2017-03-16 20:36 LarryGates 阅读(6441) 评论(0) 推荐(0) 编辑
摘要: 2016/10/6 1: 用自定义的weighted loss来看, 10000个batch仍然没有收敛; 2:仍然使用sigmoid cross entropy loss, 7 epoches 左右仍然收敛,对于7w数据; 3:改动loss, 避免nan loss的出现; 2016/12/6 1: 阅读全文
posted @ 2017-03-16 20:33 LarryGates 阅读(2053) 评论(0) 推荐(0) 编辑
摘要: 灵感 因为最近一直在做rnn based NLP,其中无论是什么cell,lstm, GRU或者cnn都是基于单词的embedding表示;单词的embdding就是把每个单词表示成一个向量, 然后通过bp训练这些向量的值,这种想法很奇妙,于是我尝试性的把这种思想用在logistic regress 阅读全文
posted @ 2017-03-16 17:58 LarryGates 阅读(1481) 评论(1) 推荐(0) 编辑