随笔分类 - Algorithm&model
摘要：基础概念 本文在进行文本相似度分析过程分为以下几个部分进行， 文本分词 语料库制作 算法训练 结果预测 分析过程主要用两个包来实现jieba，gensim jieba:主要实现分词过程 gensim：进行语料库制作和算法训练 结巴（jieba）分词 在自然语言处理领域中，分词和提取关键词都是对文本处
阅读全文
摘要：基础概念 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，换句话，可以解释为我们构建模型得到的预测值与真实值之间的差距。它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构
阅读全文
摘要：基础概念 LigthGBM是boosting集合模型中的新进成员，它和xgboost一样是对GBDT的高效实现，很多方面会比xgboost表现的更为优秀。原理上它和GBDT及xgboot类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。 LightGBM的优化点 1、采用直方
阅读全文
摘要：基础概念 超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，在机器学习过程中需要对超参数进行优化，给学习器选择一组最优超参数，以提高学习的性能和效果。比如，树的数量或树的深度，学习率（多种模式）以及k均值聚类中的簇数等都是超参数。 与超参数区别的概念是参数，它是模型训
阅读全文
摘要：神经网络基础概念 人工神经网络又叫神经网络，是借鉴了生物神经网络的工作原理形成的一种数学模型。神经网络是机器学习诸多算法中的一种，它既可以用来做有监督的任务，如分类、视觉识别等，也可以用作无监督的任务。同时它能够处理复杂的非线性问题，它的基本结构是神经元，如下图所示： 其中，x1、x2、x3代表输入
阅读全文
摘要：基础概念 类别不均衡是指在分类学习算法中，不同类别样本的比例相差悬殊，它会对算法的学习过程造成重大的干扰。比如在一个二分类的问题上，有1000个样本，其中5个正样本，995个负样本，在这种情况下，算法只需将所有的样本预测为负样本，那么它的精度也可以达到99.5%，虽然结果的精度很高，但它依然没有价值
阅读全文
摘要：基础概念 XGBoost（eXtreme Gradient Boosting）是GradientBoosting算法的一个优化的版本，针对传统GBDT算法做了很多细节改进，包括损失函数、正则化、切分点查找算法优化等。 xgboost的优化点 相对于传统的GBM，XGBoost增加了正则化步骤。正则化
阅读全文
摘要：基础概念 GBDT(Gradient Boosting Decision Tree) 全称梯度提升决策树，是一种迭代的决策树算法。GBDT是集成学习Boosting的家族成员，GBDT中的树是回归树，用于回归预测，调整后也可以用于分类。 分类树与回归树的差异 分类树大致的实现过程是：穷举每一个属性特
阅读全文
摘要：基础概念 随机森林是用随机的方式建立一个森林，森林里面有很多的决策树，并且每一棵决策树之间没有关联。也可说随机森林是决策树的组合模型，其中决策树的组合形式采用类bagging的形式。 Boostrap、Bagging和Boosting（补充理解） Boostrap： Boostrap是一种组合方法的
阅读全文
摘要：TensorBoard是TensorFlow 的可视化工具。主要为了更方便用户理解 TensorFlow 程序、调试与优化，用户可以用 TensorBoard 来展现 TensorFlow 图像，绘制图像生成的定量指标图以及附加数据。 TensorBoard 通过读取 TensorFlow 的事件文
阅读全文
摘要：首先先介绍一下knn的基本原理： KNN是通过计算不同特征值之间的距离进行分类。 整体的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类
阅读全文
摘要：关于 TensorFlow TensorFlow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。 节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例
阅读全文
摘要：基础概念 主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 原理: 在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数
阅读全文
摘要：决策树基础概念 在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy （熵） 表示的是系统的凌乱程度，它是决策树的决策依据，熵的概念来源于香侬的信息论。 决策树的决策过程 选择分裂特征：根据某一指标（信息增益，信息增益比或基尼系数）计算不同特征的指标值，选
阅读全文
摘要：在用R语言做关联规则分析之前，我们先了解下关联规则的相关定义和解释。 关联规则的用途是从数据背后发现事物之间可能存在的关联或者联系，是无监督的机器学习方法，用于知识发现，而非预测。 关联规则挖掘过程主要包含两个阶段：第一阶段从资料集合中找出所有的高频项目组，第二阶段再由这些高频项目组中产生关联规则。
阅读全文
摘要：使用R做回归分析整体上是比较常规的一类数据分析内容，下面我们具体的了解用R语言做回归分析的过程。 首先，我们先构造一个分析的数据集 x|t|) (Intercept) 168.4453 15.2812 11.023 1.96e 09 x$var1 0.4947 0.4747 1.042 0.311
阅读全文
摘要：在对短期数据的预测分析中，我们经常用到时间序列中的指数平滑做数据预测，然后根据不同。 下面我们来看下具体的过程 x
阅读全文
浙公网安备 33010602011771号