随笔分类 - 机器学习
摘要：词嵌入向量WordEmbedding的原理和生成方法 WordEmbedding 词嵌入向量(WordEmbedding)是NLP里面一个重要的概念，我们可以利用WordEmbedding将一个单词转换成固定长度的向量表示，从而便于进行数学处理。本文将介绍WordEmbedding的使用方式，并讲解
阅读全文
摘要：主题模型 LDA 入门（附 Python 代码） 主题模型 LDA 入门（附 Python 代码） 主题模型 LDA 入门（附 Python 代码） 主题模型 LDA 入门（附 Python 代码） 一、主题模型 在文本挖掘领域，大量的数据都是非结构化的，很难从信息中直接获取相关和期望的信息，一种文
阅读全文
摘要：摘要： 两篇文档是否相关往往不只决定于字面上的词语重复，还取决于文字背后的语义关联。对语义关联的挖掘，可以让我们的搜索更加智能化。本文着重介绍了一个语义挖掘的利器：主题模型。主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量互联网数据中自动寻找出文
阅读全文
摘要：在上一篇《TensorFlow入门之MNIST样例代码分析》中，我们讲解了如果来用一个三层全连接网络实现手写数字识别。但是在实际运用中我们需要更有效率，更加灵活的代码。在TensorFlow实战这本书中给出了更好的实现，他将程序分为三个模块，分别是前向传播过程模块，训练模块和验证检测模块。并且在这个
阅读全文
摘要：模型文件的保存 tensorflow将模型保持到本地会生成4个文件： meta文件：保存了网络的图结构，包含变量、op、集合等信息 ckpt文件： 二进制文件，保存了网络中所有权重、偏置等变量数值，分为两个文件，一个是.data-00000-of-00001 文件，一个是 .index 文件 che
阅读全文
摘要：一 RNN概述 前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题. 1) BP算法,CNN之后, 为什么还有RNN? 细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑
阅读全文
摘要：双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN)，Schuster、Paliwal，1997年首次提出，和LSTM同年。Bi-RNN，增加RNN可利用信息。普通MLP，数据长度有限制。RNN，可以处理不固定长度时序数据，无法利用历史输入
阅读全文
摘要：本博客默认读者对神经网络与Tensorflow有一定了解，对其中的一些术语不再做具体解释。并且本博客主要以图片数据为例进行介绍，如有错误，敬请斧正。 使用Tensorflow训练神经网络时，我们可以用多种方式来读取自己的数据。如果数据集比较小，而且内存足够大，可以选择直接将所有数据读进内存，然后每次
阅读全文
摘要：python数据持久存储：pickle模块的基本使用 python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。 基本接口： pi
阅读全文
摘要：tf.summary模块的简介 在TensorFlow中，最常用的可视化方法有三种途径，分别为TensorFlow与OpenCv的混合编程、利用Matpltlib进行可视化、利用TensorFlow自带的可视化工具TensorBoard进行可视化。这三种方法，在前面博客中都有过比较详细的介绍。但是，
阅读全文
摘要：个人分类： 机器学习 本文为吴恩达《机器学习》课程的读书笔记，并用python实现。 前一篇讲了线性回归，这一篇讲逻辑回归，有了上一篇的基础，这一篇的内容会显得比较简单。 逻辑回归（logistic regression）虽然叫回归，但他做的事实际上是分类。这里我们讨论二元分类，即只分两类，y属于{
阅读全文
摘要：关于缺失值（missing value）的处理 在sklearn的preprocessing包中包含了对数据集中缺失值的处理，主要是应用Imputer类进行处理。 首先需要说明的是，numpy的数组中可以使用np.nan/np.NaN（Not A Number）来代替缺失值，对于数组中是否存在nan
阅读全文
摘要：机器学习：从源数据清洗到特征工程建立谈金融反欺诈模型训练 本文旨在通过一个完整的实战例子，演示从源数据清洗到特征工程建立，再到模型训练，以及模型验证和评估的一个机器学习的完整流程。由于初识机器学习，会比较多的困惑，希望通过借助这个实战的例子，可以帮助大家对机器学习了一个初步的认识。 本文旨在通过一个
阅读全文
摘要：ML神器：sklearn的快速使用 传统的机器学习任务从开始到建模的一般流程是：获取数据 -> 数据预处理 -> 训练建模 -> 模型评估 -> 预测，分类。本文我们将依据传统机器学习的流程，看看在每一步流程中都有哪些常用的函数以及它们的用法是怎么样的。希望你看完这篇文章可以最为快速的开始你的学习任
阅读全文
摘要：机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC 机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC 机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC 机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC 精确率、召回率、F1、AUC和ROC曲线都是
阅读全文
摘要：一、垃圾邮件过滤技术项目需求与设计方案 二、数据的内容分析 （1、是否为垃圾邮件的标签，spam——是垃圾邮件；ham——不是垃圾邮件） （2、邮件的内容分析——主要包含：发件人、收件人、发件时间以及邮件的内容） 三、需求分析、模型选择与架构 四、数据清洗 （一）·代码中应用的知识点 （1）字典的g
阅读全文
摘要：1.声音音频基础知识 （1）声音是由震动产生，表现为波的形式。波有频率，振幅等参数。对于声波而言：频率越大，音调越高，反之越低。振幅越大，声音越大，反之越小。 （2）采样率，帧率：波是连续（无穷）的，计算机存储是离散（有限）的。要想用有限存储无限，几乎不可能。因此，要每隔一段时间对波进行一次采样。每
阅读全文
摘要：LightGBM算法总结 2018年08月21日 18:39:47 Ghost_Hzp 阅读数：2360 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_39807102/article/details/81912566 1 Light
阅读全文
摘要：LightGBM算法的特别之处 自从微软推出了LightGBM，其在工业界表现的越来越好，很多比赛的Top选手也掏出LightGBM上分。所以，本文介绍下LightGBM的特别之处。 LightGBM算法的特别之处 自从微软推出了LightGBM，其在工业界表现的越来越好，很多比赛的Top选手也掏出
阅读全文
摘要：LightGBM的并行优化 LightGBM的并行优化 LightGBM的并行优化 LightGBM的并行优化 上一篇文章介绍了LightGBM算法的特点，总结起来LightGBM采用Histogram算法进行特征选择以及采用Leaf-wise的决策树生长策略，使其在一批以树模型为基模型的boost
阅读全文
浙公网安备 33010602011771号