随笔分类 -  python

用python的paramiko批量杀掉jps进程后重启hadoop&spark集群
摘要：hadoop集群关闭异常可能会在集群中残留jps下的进程影响后面的重启，下面通过python的paramiko模块批量杀死影响重启的进程 阅读全文
posted @ 2017-03-16 09:52 嘻哈怒叱 阅读(856) 评论(0) 推荐(0)
pyspark 注册临时表(registerTempTable)
摘要：pyspark 注册临时表(registerTempTable) 阅读全文
posted @ 2017-02-22 20:10 嘻哈怒叱 阅读(7654) 评论(0) 推荐(0)
spark-sql 通过缓存表(cacheTable/uncacheTable)加快计算
摘要：spark-sql 缓存数据表(cacheTable/uncacheTable) 阅读全文
posted @ 2017-02-22 19:40 嘻哈怒叱 阅读(11878) 评论(0) 推荐(0)