2018年10月4日
spark streaming方法
摘要： 1.window滑动窗口操作 2.output操作 阅读全文
posted @ 2018-10-04 00:46 聚云 阅读(147) 评论(0) 推荐(0)
2018年9月30日
spark submit打印gc信息
摘要： 在提交spark-submit时添加参数即可 这个gc.log在集群上不一定在那个节点上，需要自己找，然后查看 查看日志监控:tail -f gc.log 阅读全文
posted @ 2018-09-30 17:16 聚云 阅读(1216) 评论(0) 推荐(0)
2018年9月25日
spark集群提交简记
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-09-25 19:03 聚云 阅读(14) 评论(0) 推荐(0)
2018年9月21日
spark dataframe方法解释
摘要： DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataf 阅读全文
posted @ 2018-09-21 16:01 聚云 阅读(3393) 评论(0) 推荐(0)
2018年9月20日
structed streaming基础---跳过的坑
摘要： 1.spark structed streaming 报如图下面的错误 在pom.xml加这个配置即可 或在maven官网搜:spark－sql－kafka 也可以 第二个问题是运行structed streaming就无缘无故报空指针异常，看下报错日志 解决方法 下载这个，放到这个位置(https 阅读全文
posted @ 2018-09-20 19:06 聚云 阅读(3261) 评论(0) 推荐(1)
2018年8月28日
scala学习---2
摘要： 一.遍历 1.Any是String和Int的公共父类型 2.在Scala中，定义函数时，如果函数体直接包裹在了花括号里面，而没有使用=连接，则函数的返回值类型就是Unit。这样的函数就被称之为过程。过程通常用于不需要返回值的函数。 二.方法函数 三.集合 ArrayBuffer和Array 阅读全文
posted @ 2018-08-28 13:55 聚云 阅读(161) 评论(0) 推荐(0)