摘要：
显示虚拟机 停止虚拟机 启动虚拟机 删除虚拟机 修改虚拟机内存 修改虚拟机配置 阅读全文
posted @ 2018-01-04 14:20
湖风雨晚晴
阅读(144)
评论(0)
推荐(0)
摘要：
缺少包，在spark-submit 中指定 packages 如下： 阅读全文
posted @ 2017-12-28 14:19
湖风雨晚晴
阅读(2211)
评论(0)
推荐(0)
摘要：
简单列出 hadoop 的常用命令及说明，方便以后查询。 阅读全文
posted @ 2017-12-27 17:02
湖风雨晚晴
阅读(131)
评论(0)
推荐(0)
摘要：
原因： HADOOP_PID_DIR 默认为 /tmp 目录，如果长期不访问/tmp/目录下的文件，文件会被自动清理，因此 stop-dfs.sh 无法根据 pid 停止 namenode, datanode。 解决办法： 使用ps命令查找正在运行的namenodes、datanodes和secon 阅读全文
posted @ 2017-12-27 13:43
湖风雨晚晴
阅读(711)
评论(0)
推荐(0)
摘要：
1. 配置 git config --list git config --global http.sslverify false git config --global user.name "Firstname Lastname" git config --global user.email you 阅读全文
posted @ 2017-12-27 12:50
湖风雨晚晴
阅读(182)
评论(0)
推荐(0)
摘要：
易道境游，器医神守 自强不息，止于至善 2017 年 12 月 http://www.cnblogs.com/weiweifeng/p/8073553.html 2017 年 09 月 http://www.cnblogs.com/weiweifeng/p/7489449.html http://w 阅读全文
posted @ 2017-12-26 22:35
湖风雨晚晴
阅读(89)
评论(0)
推荐(0)
摘要：
export HADOOP_CONF_DIR= 阅读全文
posted @ 2017-12-22 17:23
湖风雨晚晴
阅读(105)
评论(0)
推荐(0)
摘要：
spark 官网首页 https://spark.apache.org/ spark 官网文档 spark scala API 文档 https://spark.apache.org/docs/latest/api/scala/index.html#package csdn spark 技术社区 h 阅读全文
posted @ 2017-12-21 14:22
湖风雨晚晴
阅读(3219)
评论(0)
推荐(0)
摘要：
spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 如果部署 hadoop，并且启动 yarn 后，spark 提交到 yarn 执行的例 阅读全文
posted @ 2017-12-20 14:26
湖风雨晚晴
阅读(81584)
评论(0)
推荐(4)
摘要：
print(format(float(a)/float(b),'.2f')) 阅读全文
posted @ 2017-09-19 19:23
湖风雨晚晴
阅读(360)
评论(0)
推荐(0)
浙公网安备 33010602011771号