O_Din

摘要： 实验环境：spark-2.0.2 代码修改：纠正streamId和receiverId混用情况 submit application：参考官网http://spark.apache.org/docs/latest/streaming-programming-guide.html ./bin/run- 阅读全文

摘要： 终端错误提示： 打开scalastyle-output.xml文件后，发现错误全是由scalastyle引起的，类似： 对于这种问题的解决，是打开pom.xml，找到scalastyle标签，将配置标签下的true都改为false <plugin><groupId>org.scalastyle</g 阅读全文

摘要： 这是启动以及查看状态的代码，但是“It is probably not running.”的原因有很多，可以从zookeeper.out找出自己的问题 zookeeper.out的位置： 打开后发现问题如下： zkServer.sh文件开头添加如下内容： 问题解决，但是还有一点注意的就是，zooke 阅读全文

摘要： 发现以上问题 首先应用submit代码如下 根据问题提示，确认了集群中两个worker都是alive状态，猜想资源是否够？ 所以在submit代码加入 问题解决！ 问题二：之前发现sparkpi实例程序以submit形势传递到集群中运行，也返回结果，但是4040端口不能访问，且application 阅读全文

摘要： 1.在机器1中生成密钥 2.在机器2中创建文件 3.将生成的公钥id_rsa.pub拷贝到机器2中 4.加入授权 5.修改authorized_keys文件的权限 阅读全文

摘要： 错误原因：测试代码没通过 直接跳过测试 由于全部测试耗时太长，这时需要对修改的模块进行编译（以streaming为例），并且跳过测试（由于测试文件是针对更改前的源码，所以并不适用） ./build/mvn -pl :spark-streaming_2.11 clean install -Dmaven 阅读全文

摘要： 解决方法：在build前加入代码： 阅读全文

摘要： 官方解决方案： 忽略clean错误,设置failOnError为false 或者添加代码： 这里选用的第二种方法，编译通过： 阅读全文

摘要： 查看kafka/libs 下的库文件，知道kafka的版本号： find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'[root@kafka1 kafka]# find ./libs/ -name \*kafka_\* | h 阅读全文

摘要： 1.安装依赖 2.下载搜狗输入法并更名 3.安装 4.重启 阅读全文