罗西的思考 - 博客园

2020年6月

摘要： Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。本文将为大家展现Alink如何实现TF-IDF。阅读全文

posted @ 2020-06-05 21:52 罗西的思考阅读(1715) 评论(0) 推荐(1)

[源码解析]为什么mapPartition比map更高效

摘要：自从函数式编程和响应式编程逐渐进入到程序员的生活之后，map函数作为其中一个重要算子也为大家所熟知，无论是前端web开发，手机开发还是后端服务器开发，都很难逃过它的手心。而在大数据领域中又往往可以见到另外一个算子mapPartition的身影。在性能调优中，经常会被建议尽量用 mappartition 操作去替代 map 操作。本文将从Flink源码和示例入手，为大家解析为什么mapPartition比map更高效。阅读全文

posted @ 2020-06-02 21:47 罗西的思考阅读(1355) 评论(0) 推荐(1)

2020年5月

[白话解析] 通俗解析集成学习之GBDT

摘要：本文将为大家讲解GBDT这个机器学习中非常重要的算法。因为这个算法属于若干算法或者若干思想的结合，所以很难找到一个现实世界的通俗例子来讲解，所以只能少用数学公式来尽量减少理解难度。阅读全文

posted @ 2020-05-30 04:49 罗西的思考阅读(2366) 评论(0) 推荐(0)

Alink漫谈(五) : 迭代计算和Superstep

摘要： Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。迭代算法在很多数据分析领域会用到，比如机器学习或者图计算。本文将通过Superstep入手看看Alink是如何利用Flink迭代API来实现具体算法。阅读全文

posted @ 2020-05-30 04:12 罗西的思考阅读(1782) 评论(0) 推荐(0)

Alink漫谈(四) : 模型的来龙去脉

摘要： Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将从模型角度入手带领大家来再次深入Alink。阅读全文

posted @ 2020-05-23 08:19 罗西的思考阅读(1418) 评论(1) 推荐(1)

[Alink漫谈之三] AllReduce通信模型

摘要： Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中通讯模型AllReduce的实现。AllReduce在Alink中应用较多，比如KMeans，LDA，Word2Vec，GD，lbfgs，Newton method，owlqn，SGD，Gbdt, random forest都用到了这个通讯模型。阅读全文

posted @ 2020-05-16 09:17 罗西的思考阅读(2629) 评论(0) 推荐(2)

Alink漫谈(二) : 从源码看机器学习平台Alink设计和架构

摘要： Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文是漫谈系列的第二篇，将从源码入手，带领大家具体剖析Alink是如何设计的，其架构如何。阅读全文

posted @ 2020-05-10 09:10 罗西的思考阅读(3100) 评论(1) 推荐(3)

Alink漫谈(一) : 从KMeans算法实现不同看Alink设计思想

摘要： Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家从多重角度出发来分析推测Alink的设计思路。阅读全文

posted @ 2020-05-05 16:28 罗西的思考阅读(2838) 评论(3) 推荐(1)

2020年4月

[源码分析]从"UDF不应有状态" 切入来剖析Flink SQL代码生成 (修订版)

摘要： "Flink SQL UDF不应有状态" 这个技术细节可能有些朋友已经知道了。但是为什么不应该有状态呢？这个恐怕大家就不甚清楚了。本文就带你一起从这个问题点入手，看看Flink SQL究竟是怎么处理UDF，怎么生成对应的SQL代码。阅读全文

posted @ 2020-04-29 23:01 罗西的思考阅读(2207) 评论(2) 推荐(0)

从"UDF不应有状态" 切入来剖析Flink SQL代码生成

posted @ 2020-04-26 21:59 罗西的思考阅读(1285) 评论(4) 推荐(0)

公告