Data and AI

摘要： SVD分解: $A=U\Sigma V^T$，变换：$\hat{A}=A\cdot V=U\Sigma$ 分解时先计算$A^TA=U\Sigma^2U^T$，再进行SVD分解 SVD分解： 调用Breeze的SVD库，得到$U,\Sigma$ Explained Variance Ratio exp 阅读全文

摘要： Voting classifier 多种分类器分别训练，然后分别对输入（新数据）预测/分类，各个分类器的结果视为投票，投出最终结果： 训练： 投票： 为什么三个臭皮匠顶一个诸葛亮。通过大数定律直观地解释： 一个硬币P(H)=0.51。大数定律保证抛硬币很多次之后，平均得到的正面频数接近$0.51 \ 阅读全文

摘要： 例子 iris数据训练Logistic模型。特征petal width和petal height，分类目标有三类。 训练结果 模型将特征空间划分结果（画图代码参见 http://www.cnblogs.com/luweiseu/p/7826679.html）： ML LogisticRegress算 阅读全文

摘要： 问题描述 给定 g 个group， n 个id， n 阅读全文

摘要： "GeneralizedLinearAlgorithm" SparkMllib涉及到的算法 Classification Linear Support Vector Machines (SVMs) Logistic regression Regression Linear least squares 阅读全文

摘要： 决策树类模型 ml中的classification和regression主要基于以下几类： classification：决策树及其相关的集成算法，Logistics回归，多层感知模型； regression:决策树及其相关集成算法，线性回归。 主要的模型有两类：线性模型\(GLM\)和决策树： 其 阅读全文

摘要： 并行FP Growth算法思路 上图的单线程形成的FP Tree。 分布式算法事实上是对FP Tree进行分割，分而治之 首先，假设我们只关心...|c这个conditional transaction，那么可以把每个transaction中的...|c保留，并发送到一个计算节点中，必然能在该计算节 阅读全文

摘要： 算法跟传统的kmeans的区别主要在于：kmeans||的k个中心的不是随机初始化的。而是选择了k个彼此“足够”分离的中心。 This is a variant of k means++ that tries to find dissimilar cluster centers by startin 阅读全文

摘要： ref: https://jaceklaskowski.gitbooks.io/spark structured streaming/ StruncturedStream的statefule实现基于StateStore，能够记忆历史的结果，从而形成unbounded流式计算。其内部实际上是将历史的统 阅读全文

摘要： ❤Limitations of DStream API Batch Time Constraint application级别的设置。 不支持EventTime event time 比process time更重要 Weak support for Dataset/Dataframe No cus 阅读全文