12 2017 档案

Failed to find data source: kafka
摘要：缺少包，在spark-submit 中指定 packages 如下： 阅读全文
posted @ 2017-12-28 14:19 湖风雨晚晴 阅读(2231) 评论(0) 推荐(0)
hadoop 常用命令
摘要：简单列出 hadoop 的常用命令及说明，方便以后查询。 阅读全文
posted @ 2017-12-27 17:02 湖风雨晚晴 阅读(147) 评论(0) 推荐(0)
hadoop stop-dfs.sh 无法停止 namenode datanode
摘要：原因： HADOOP_PID_DIR 默认为 /tmp 目录，如果长期不访问/tmp/目录下的文件，文件会被自动清理，因此 stop-dfs.sh 无法根据 pid 停止 namenode, datanode。 解决办法： 使用ps命令查找正在运行的namenodes、datanodes和secon 阅读全文
posted @ 2017-12-27 13:43 湖风雨晚晴 阅读(759) 评论(0) 推荐(0)
git 常用命令
摘要：1. 配置 git config --list git config --global http.sslverify false git config --global user.name "Firstname Lastname" git config --global user.email you 阅读全文
posted @ 2017-12-27 12:50 湖风雨晚晴 阅读(193) 评论(0) 推荐(0)
目录
摘要：易道境游，器医神守 自强不息，止于至善 2017 年 12 月 http://www.cnblogs.com/weiweifeng/p/8073553.html 2017 年 09 月 http://www.cnblogs.com/weiweifeng/p/7489449.html http://w 阅读全文
posted @ 2017-12-26 22:35 湖风雨晚晴 阅读(94) 评论(0) 推荐(0)
hadoop 配置
摘要：export HADOOP_CONF_DIR= 阅读全文
posted @ 2017-12-22 17:23 湖风雨晚晴 阅读(112) 评论(0) 推荐(0)
spark 学习网站和资料
摘要：spark 官网首页 https://spark.apache.org/ spark 官网文档 spark scala API 文档 https://spark.apache.org/docs/latest/api/scala/index.html#package csdn spark 技术社区 h 阅读全文
posted @ 2017-12-21 14:22 湖风雨晚晴 阅读(3572) 评论(0) 推荐(0)
spark-submit 提交任务及参数说明
摘要：spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 如果部署 hadoop，并且启动 yarn 后，spark 提交到 yarn 执行的例 阅读全文
posted @ 2017-12-20 14:26 湖风雨晚晴