随笔分类 -  hadoop

用maven编译spark2.1.0
摘要：用maven编译spark2.1.0 阅读全文
posted @ 2017-03-22 12:02 嘻哈怒叱 阅读(1309) 评论(0) 推荐(0)
CDH5.7.2-Hadoop集群CentOS7下的搭建(离线安装)
摘要：CDH5.7.2-Hadoop集群CentOS7下的搭建(离线安装) 阅读全文
posted @ 2017-03-22 11:43 嘻哈怒叱 阅读(2027) 评论(0) 推荐(0)
用python的paramiko批量杀掉jps进程后重启hadoop&spark集群
摘要：hadoop集群关闭异常可能会在集群中残留jps下的进程影响后面的重启，下面通过python的paramiko模块批量杀死影响重启的进程 阅读全文
posted @ 2017-03-16 09:52 嘻哈怒叱 阅读(856) 评论(0) 推荐(0)
spark-sql 通过缓存表(cacheTable/uncacheTable)加快计算
摘要：spark-sql 缓存数据表(cacheTable/uncacheTable) 阅读全文
posted @ 2017-02-22 19:40 嘻哈怒叱 阅读(11878) 评论(0) 推荐(0)
hadoop命令
摘要：hadoop命令介绍,hadoop fs和hadoop dfs命令的区别 阅读全文
posted @ 2017-02-16 13:59 嘻哈怒叱 阅读(177) 评论(0) 推荐(0)
hadoop命令 -- job相关
摘要：hadoop job命令用法 阅读全文
posted @ 2017-02-16 13:34 嘻哈怒叱 阅读(4776) 评论(0) 推荐(1)