2016年8月22日
idea修改运行内存
摘要： 安装目录下的bin 找到idea.exe.vmoptions 最大的修改下 Xmx1024m 找到idea64.exe.vmoptions 最大的修改下 Xmx1024m 阅读全文
posted @ 2016-08-22 16:13 蚂蚁都督 阅读(16497) 评论(0) 推荐(0) 编辑
将Spark中CompactBuf转换为String
摘要： ``` val rdd = sc.textFile("hdfs://hbase11:9000/sparkTsData/ipsoftware/wincc").map{ line => {val regex(ip,software) = line; (ip,software)}} val rdd2 = sc.textFile("hdfs://hbase11:9000/sparkTsData/ip... 阅读全文
posted @ 2016-08-22 11:39 蚂蚁都督 阅读(472) 评论(0) 推荐(0) 编辑
spark中操作hdfs
摘要： 1 获取路径 2 相关操作 // 删除输出目录 if (hdfs.exists(output)) hdfs.delete(output, true) //遍历目录 val fs= hdfs.listStatus(output) 19 val listPath = FileUtil.stat2Path 阅读全文
posted @ 2016-08-22 10:56 蚂蚁都督 阅读(5224) 评论(1) 推荐(0) 编辑