spark - 随笔分类 - 聚云

只有注册用户登录后才能阅读该文。

posted @ 2019-01-04 17:03 聚云

摘要：1.全部代码不再粘贴，只粘贴主要代码。spark streaming主方法代码主方法入hbase(和上面的代码片段在一个文件里) 2.DataBaseOperation类另一个对象文件上面是传一个machno作为数据的关联。只获取了一个字符串，下面另一个案例是传一个Map 1.主函数 2.主要阅读全文

posted @ 2018-11-14 19:02 聚云阅读(493) 评论(0) 推荐(0)

spark streaming方法

摘要：1.window滑动窗口操作 2.output操作阅读全文

posted @ 2018-10-04 00:46 聚云阅读(147) 评论(0) 推荐(0)

spark submit打印gc信息

摘要：在提交spark-submit时添加参数即可这个gc.log在集群上不一定在那个节点上，需要自己找，然后查看查看日志监控:tail -f gc.log 阅读全文

posted @ 2018-09-30 17:16 聚云阅读(1217) 评论(0) 推荐(0)

spark集群提交简记

只有注册用户登录后才能阅读该文。

posted @ 2018-09-25 19:03 聚云阅读(14) 评论(0) 推荐(0)

spark dataframe方法解释

摘要：DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataf 阅读全文

posted @ 2018-09-21 16:01 聚云阅读(3397) 评论(0) 推荐(0)

spark函数学习---(Dateset)

摘要：1.代码 2.代码 Dateset两个表进行连接 3.代码 4.代码 5.聚合函数 6.代码 7.其他函数要查官网阅读全文

posted @ 2018-08-23 18:29 聚云

spark---dateframe和dateset

摘要：Dateframe与DateSet使用 1.代码 2.测试用例 {"name": "Leo", "age": 25, "depId": 1, "gender": "male", "salary": 20000} {"name": "Marry", "age": 30, "depId": 2, "ge 阅读全文

posted @ 2018-08-23 17:01 聚云

随笔分类 - spark

公告