2020年2月5日
线性回归理解（附纯python实现）
摘要： 线性回归理解（附纯python实现） 阅读全文
posted @ 2020-02-05 20:36 技术研究与问题解决 阅读(178) 评论(0) 推荐(0)
Flatmap 和map 区别
摘要： map将函数作用到数据集的每一个元素上，生成一个新的分布式的数据集(RDD)返回 map函数的源码： def map(self, f, preservesPartitioning=False): """ Return a new RDD by applying a function to each 阅读全文
posted @ 2020-02-05 14:59 技术研究与问题解决 阅读(2197) 评论(0) 推荐(0)
【spark】常用转换操作：reduceByKey和groupByKey
摘要： 1.reduceByKey(func) 功能： 使用 func 函数合并具有相同键的值。 示例： 1 2 3 4 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = 阅读全文
posted @ 2020-02-05 14:07 技术研究与问题解决 阅读(432) 评论(0) 推荐(0)
python中的Iterable对象和Iterator
摘要： 参考链接：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143178254193589df9c612d2449618ea460e7a672a366000?tdsourceta 阅读全文
posted @ 2020-02-05 10:21 技术研究与问题解决 阅读(161) 评论(0) 推荐(0)