随笔档案「2017年12月」 - mdumpling

《转》tensorflow学习笔记

摘要：from http://m.blog.csdn.net/shengshengwang/article/details/75235860 1. RNN结构解析：（1）one to one表示单输入单输出网络。这里的但输入并非表示网络的输入向量长度为1，而是指数据的长度是确定的。比如输入数据可以是阅读全文

posted @ 2017-12-23 20:21 mdumpling 阅读(830) 评论(0) 推荐(0)

tf.multiply（）和tf.matmul（）区别

摘要：解析：（1）tf.multiply是点乘，即Returns x * y element-wise. （2）tf.matmul是矩阵乘法，即Multiplies matrix a by matrix b, producing a * b. 阅读全文

posted @ 2017-12-23 20:20 mdumpling 阅读(10417) 评论(0) 推荐(1)

关于softmax稳定性问题

摘要：因为softmax中指数函数，很容易超出计算机表达的最大值，所以采用分子分母同时乘N的方法，N一般为最大值。阅读全文

posted @ 2017-12-23 19:29 mdumpling 阅读(291) 评论(0) 推荐(0)

《转》牛顿法与拟牛顿法学习笔记

摘要：from http://blog.csdn.net/itplus/article/details/21896453 阅读全文

posted @ 2017-12-22 22:04 mdumpling 阅读(150) 评论(0) 推荐(0)

凸优化

摘要：from https://www.jianshu.com/p/fe2e7f0e89e5 阅读全文

posted @ 2017-12-22 21:48 mdumpling 阅读(228) 评论(0) 推荐(0)

决策树剪枝算法-悲观剪枝算法(PEP)

摘要：前言在机器学习经典算法中，决策树算法的重要性想必大家都是知道的。不管是ID3算法还是比如C4.5算法等等，都面临一个问题，就是通过直接生成的完全决策树对于训练样本来说是“过度拟合”的，说白了是太精确了。由于完全决策树对训练样本的特征描述得“过于精确” ,无法实现对新样本的合理分析, 所以此时它不是阅读全文

posted @ 2017-12-22 19:45 mdumpling 阅读(2858) 评论(0) 推荐(1)

决策树剪枝的三种方法

摘要：什么是剪枝？剪枝是指将一颗子树的子节点全部删掉，根节点作为叶子节点，以下图为例：为甚么要剪枝？决策树是充分考虑了所有的数据点而生成的复杂树，有可能出现过拟合的情况，决策树越复杂，过拟合的程度会越高。考虑极端的情况，如果我们令所有的叶子节点都只含有一个数据点，那么我们能够保证所有的训练数据都能阅读全文

posted @ 2017-12-22 19:32 mdumpling 阅读(6095) 评论(0) 推荐(0)

梯度弥散与梯度爆炸

摘要：from http://www.cnblogs.com/yangmang/p/7477802.html 问题描述先来看看问题描述。当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。下面以2层隐藏层神经网络阅读全文

posted @ 2017-12-22 19:06 mdumpling 阅读(357) 评论(0) 推荐(0)

算法岗面试题积累一

摘要：1: LSTM结构推导，为什么比RNN好？答案：推导forget gate，input gate，cell state， hidden information等的变化；因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的，RNN是叠乘，因此LSTM可以防阅读全文

posted @ 2017-12-22 16:38 mdumpling 阅读(1333) 评论(0) 推荐(0)

《转》从系统和代码实现角度解析TensorFlow的内部实现原理 | 深度

摘要：from https://www.leiphone.com/news/201702/n0uj58iHaNpW9RJG.html?viewType=weixin 摘要 2015年11月9日，Google发布深度学习框架TensorFlow并宣布开源，并迅速得到广泛关注，在图形分类、音频处理、推荐系统和阅读全文

posted @ 2017-12-20 15:43 mdumpling 阅读(1304) 评论(0) 推荐(0)

算法复习-全排列的非递归和递归实现(含重复元素)

摘要：from http://blog.csdn.net/so_geili/article/details/71078945 阅读全文

posted @ 2017-12-20 12:34 mdumpling 阅读(182) 评论(0) 推荐(0)

xgboost使用细节

摘要：from http://blog.csdn.net/zc02051126/article/details/46771793 在Python中使用XGBoost 下面将介绍XGBoost的Python模块，内容如下： * 编译及导入Python模块 * 数据接口 * 参数设置 * 训练模型l * 提前阅读全文

posted @ 2017-12-19 21:56 mdumpling 阅读(1618) 评论(0) 推荐(0)

pandas Series和dataframe

摘要：DataFrame是一个表格型数据结构，与Series不同的是，DataFrame可以含有一组或者有序的列，每列可以使不同的值的类型，它可以被看做成Series的字典。阅读全文

posted @ 2017-12-19 20:54 mdumpling 阅读(152) 评论(0) 推荐(0)

python 字符词串和字符串的转换

摘要：type(' i am ')str type(''.join('i am'))str ''.join('sda sadaa') 'sda sadaa' q=str('i am the teacher').split() q ['i', 'am', 'the', 'teacher']''.join(q) 'iamtheteacher' 阅读全文

posted @ 2017-12-19 19:49 mdumpling 阅读(256) 评论(0) 推荐(0)

协方差矩阵

摘要：阅读全文

posted @ 2017-12-18 21:14 mdumpling 阅读(159) 评论(0) 推荐(0)

（转载）自然语言处理中的Attention Model：是什么及为什么

摘要：转载说明来源：http://blog.csdn.net/malefactor/article/details/50550211 author: 张俊林原文写得非常好！原文：要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这阅读全文

posted @ 2017-12-18 11:22 mdumpling 阅读(234) 评论(0) 推荐(0)

tf.concat( )和tf.stack( )

摘要：相同点：都是组合重构数据. 不同点：concat（）不改变维数，而stack改变了维数（待定！！！） tf.concat是连接两个矩阵的操作，请注意API版本更改问题，相应参数也发生改变，具体查看API. tf.concat(concat_dim, values, name='concat') 除去阅读全文

posted @ 2017-12-17 21:42 mdumpling 阅读(9938) 评论(0) 推荐(0)

tf.split( )和tf.unstack( )

摘要：[array([[1],[4]]), array([[2],[5]]), array([[3],[6]])] [array([1, 4]), array([2, 5]), array([3, 6])] [array([[1, 2, 3]]), array([[4, 5, 6]])] [array([ 阅读全文

posted @ 2017-12-17 21:32 mdumpling 阅读(3394) 评论(0) 推荐(0)

tf.stack( )和tf.unstack( )

摘要：相同点：他们都增加了矩阵的维度，而split()不改变维度！ tf.stack（）这是一个矩阵拼接的函数，tf.unstack（）则是一个矩阵分解的函数 c是拼接，而d和e则是不同维度的分解阅读全文

posted @ 2017-12-17 21:28 mdumpling 阅读(1353) 评论(0) 推荐(0)

tf.expand_dims和tf.squeeze函数

摘要：from http://blog.csdn.net/qq_31780525/article/details/72280284 tf.expand_dims() Function tf.expand_dims(input, axis=None, name=None, dim=None) Inserts 阅读全文

posted @ 2017-12-17 21:22 mdumpling 阅读(7864) 评论(0) 推荐(0)

转弹性反向传播(RProp)和均方根反向传播(RMSProp)

摘要：from http://blog.csdn.net/tsq292978891/article/details/78619384 都是一种权值更新算法，类似于SGD算法，其中，RMSProp是RProp算法的改良版。 RProp算法不同权值参数的梯度的数量级可能相差很大，因此很难找到一个全局的学习步阅读全文

posted @ 2017-12-16 15:08 mdumpling 阅读(1720) 评论(0) 推荐(0)

TF-epoch、 iteration和batchsize区别(转载)

摘要：from http://www.cnblogs.com/qggg/p/6876942.html 转自 http://blog.csdn.net/sinat_30071459/article/details/50721565 深度学习中经常看到epoch、 iteration和batchsize，下面阅读全文

posted @ 2017-12-16 14:32 mdumpling 阅读(264) 评论(0) 推荐(0)

tensorflow conv2d

摘要：https://www.cnblogs.com/qggg/p/6832342.html 阅读全文

posted @ 2017-12-15 22:42 mdumpling 阅读(135) 评论(0) 推荐(0)

tensorflow 中 name_scope和variable_scope

摘要：from http://blog.csdn.net/appleml/article/details/53668237 from http://blog.csdn.net/appleml/article/details/53668237 运行后的结果如下： hello/arr1:0 scope_nam 阅读全文

posted @ 2017-12-15 21:05 mdumpling 阅读(197) 评论(0) 推荐(0)

Text-CNN 文本分类

摘要：1.简介 TextCNN 是利用卷积神经网络对文本进行分类的算法，由 Yoon Kim 在 “Convolutional Neural Networks for Sentence Classification” 一文 (见参考[1]) 中提出. 是2014年的算法. 图1-1 参考[1] 中的论文配阅读全文

posted @ 2017-12-15 20:08 mdumpling 阅读(1418) 评论(0) 推荐(0)

xgboost调参过程

摘要：from http://blog.csdn.net/han_xiaoyang/article/details/52665396 阅读全文

posted @ 2017-12-14 22:00 mdumpling 阅读(164) 评论(0) 推荐(0)

机器学习数据不均衡问题

摘要：from http://blog.csdn.net/lujiandong1/article/details/52658675 阅读全文

posted @ 2017-12-14 21:59 mdumpling 阅读(119) 评论(0) 推荐(0)

Python机器学习常用库记录

摘要：1.argparse http://www.jianshu.com/p/fef2d215b91d 命令行解释工具 2.tflearn http://tflearn.org/doc_index/ tensorflow的上层库，和keras,tensorlayer同样的功能阅读全文

posted @ 2017-12-13 22:34 mdumpling 阅读(215) 评论(0) 推荐(0)

使用tensorflow训练word2vec

摘要：from http://blog.csdn.net/wangyangzhizhou/article/details/77530479?locationNum=1&fps=1 使用了tensorflow中的nce损失函数，word2vec就是使用了负采样方法阅读全文

posted @ 2017-12-12 14:04 mdumpling 阅读(181) 评论(0) 推荐(0)

Python pickle模块学习（超级详细）

摘要：from http://blog.csdn.net/sxingming/article/details/52164249 阅读全文

posted @ 2017-12-10 13:53 mdumpling 阅读(256) 评论(0) 推荐(0)

两个惊艳的python库：tqdm和retry

摘要：转载到请包括本文地址：http://spaces.ac.cn/archives/3902/ Python基本是我目前工作、计算、数据挖掘的唯一编程语言（除了符号计算用Mathematica外）。当然，基本的Python功能并不是很强大，但它胜在有巨量的第三方扩展库。在选用Python的第三方库时，我阅读全文

posted @ 2017-12-10 13:52 mdumpling 阅读(16417) 评论(4) 推荐(3)

python list颠倒写法

摘要：a=[1,2,3,4] a[::-1] ...... [4,3,2,1] 阅读全文

posted @ 2017-12-06 16:46 mdumpling 阅读(1356) 评论(0) 推荐(0)

itertools

摘要：from https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001415616001996f6b32d80b6454caca3d33c965a07611f000 itertools 阅读全文

posted @ 2017-12-05 20:49 mdumpling 阅读(243) 评论(0) 推荐(0)

python 操作符**与*的用法