Wanna_Go

keras实现不同形态的模型

摘要： keras提供了线性的模型，但是有些网络需要多个输入，有些网络有多个输出，更甚之层与层之间有内部分支，这使得网络看起来像是层构成的图，而不是线性的堆叠。有些场景需要多模态的输入，这些的输入来源于不同的数据，例如下面的例子而有些场景是多个输出，例如给定一部小说，希望将其自动分类（比如爱情、惊悚），阅读全文

posted @ 2019-04-30 16:09 Wanna_Go 阅读(1918) 评论(0) 推荐(1)

TF版本的Word2Vec和余弦相似度的计算

摘要：前几天一个同学在看一段代码，内容是使用gensim包提供的Word2Vec方法训练得到词向量，里面有几个变量看不懂，就向我求助，我大概给他讲了下code是哈夫曼编码，count应该是这个词在训练语料中出现的计数，point应该是在建树的过程中路径的节点等等，这个算法我13、14年的时候就看过，所阅读全文

posted @ 2018-07-04 11:15 Wanna_Go 阅读(1574) 评论(0) 推荐(0)

TensorFlow中的两种conv2d方法和kernel_initializer

摘要： tf.nn.conv2d 在使用TF搭建CNN的过程中，卷积的操作如下这个函数中各个参数的含义是什么呢？ X:输入数据的mini batch，为一个4D tensor；分别表示的含义为[n_batch,height,width,channel] filters:为卷积核，为一个4D tensor，阅读全文

posted @ 2018-04-07 20:45 Wanna_Go 阅读(7249) 评论(0) 推荐(1)

CNN中的padding

摘要：在使用TF搭建CNN的过程中，卷积的操作如下这个函数中各个参数的含义是什么呢？ X:输入数据的mini batch，为一个4D tensor；分别表示的含义为[n_batch,height,width,channel] filters:为卷积核，为一个4D tensor，分别表示的含义为 [fil 阅读全文

posted @ 2018-04-03 09:50 Wanna_Go 阅读(941) 评论(0) 推荐(0)

记一次sqoop同步到mysql

摘要：工作中需要用到将hive的数据导一份到mysql中，需求是这样的：hive每天会产生一份用户标签(tag)发生变化的结果表user_tag，这份结果同步到mysql中，并且保持一份全量表，存储当前用户的标签。最初打算是在mysql建立一个分区表，按照天存储user_tag，研究了一下mysql的分区阅读全文

posted @ 2018-03-29 09:25 Wanna_Go 阅读(913) 评论(0) 推荐(1)

理解HDFS

摘要：综述当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上。HDFS是hadoop的主要分布式存储系统，一个HDFS集群主要包括NameNode用来管理文件系统的metadata，DataNode用来存储实际的数据。下面是HDFS的一些特点 1.Had 阅读全文

posted @ 2018-03-28 10:42 Wanna_Go 阅读(1165) 评论(0) 推荐(0)

TensorFlow中的优化算法

摘要：搭建好网络后，常使用梯度下降类优化算法进行模型参数求解，模型越复杂我们在训练神经网络的过程上花的时间就越多，为了解决这一问题，我们就需要找一些优化算法来提高训练速度，TF的模块中提供了丰富的优化算法，这一节对这些优化器做下简单的对比。 Stochastic Gradient Descent（SGD 阅读全文

posted @ 2018-03-25 17:35 Wanna_Go 阅读(1419) 评论(0) 推荐(0)

使用TensorFlow实现分类

摘要：这一节使用TF搭建一个简单的神经网络用于分类任务，首先把需要的包引入，另外为了防止在多次运行中一些图中的tensor在内存中影响实验，采取重置操作：为了方便观察随机生成一组两维数据上面生成的两个类别的数据，均值分别为和` 1 1` 接下来就是训练模型上面创建了一个隐含层的网络，使用的是，也阅读全文

posted @ 2018-03-25 17:33 Wanna_Go 阅读(554) 评论(0) 推荐(0)

使用TensorFlow实现回归预测

摘要：这一节使用TF搭建一个简单的神经网络用于回归预测，首先随机生成一组数据随机生成了一组数据，模型为$y=x^2+x$，看一下数据的分布接下来搭建一个含有一个隐藏层的神经网络，损失选择使用误差其中中提供了常用的损失函数实现，也可以自己去实现，开始训练模型看一看效果： note: 上面使用了阅读全文

posted @ 2018-03-25 17:32 Wanna_Go 阅读(1939) 评论(0) 推荐(0)

几种实现one-hot编码的方式

摘要：方法1 之前写 "使用sklearn进行数据挖掘房价预测(4)—数据预处理" 一文中时候已经提到过，使用sklearn中提供的和`OneHotEncoder`方法方法2 sklearn提供的简单方法，上面两步可以合并为一步方法3 这次需要隆重介绍的是这个方法，在TensorFlow代码中看阅读全文

posted @ 2018-03-25 17:29 Wanna_Go 阅读(5317) 评论(0) 推荐(0)

公告

导航