09 2019 档案

<console>:14: error: not found: value spark import spark.implicits.
摘要：启动 出现问题 启动 hadoop, 并创建，解决 解决了 阅读全文
posted @ 2019-09-29 22:46 抽象Java 阅读(1925) 评论(0) 推荐(0)
spark 配置
摘要：1、 mv slaves.template slaves slaves 文件添加 hadoop.slave01 hadoop.slave02 hadoop.slave03 2、 cp spark-env.sh.template spark-env.sh spark-env.sh 文件添加 SPARK 阅读全文
posted @ 2019-09-29 20:09 抽象Java 阅读(171) 评论(0) 推荐(0)
centos7 扩容
摘要：用 df -h, 看到磁盘满了 （注意：如果是二，或者第三次扩容，下面的参数就不一样） fdisk /dev/sda 但是失败了，显示没有多余的分区 可以看到 有个/dev/sda4 是我在这之前刚刚错误设置的，要删除这个分区 再继续挂载扩容 再查看，可以看到暂时没变，w 保存 reboot 后，发 阅读全文
posted @ 2019-09-29 18:10 抽象Java 阅读(198) 评论(0) 推荐(0)
idea 配置 scala
摘要：在setting 中，通过plugin 安装 Scala 然后重启idea 重启后，建一个scala文件，根据上面提示安装scala 阅读全文
posted @ 2019-09-27 14:30 抽象Java 阅读(375) 评论(0) 推荐(0)
Error contacting service. It is probably not running.
摘要：查看zookeeper状态出错 爆出错误 查看zookeeper.out日志 貌似是端口没打开，到第二台服务器去打开3888 还是不行 查了一下 把 原来的文件改为 0.0.0.0 ，还有其他两个服务器的zookeeper 然后发现 是 2888 端口没开，开了之后就好了 阅读全文
posted @ 2019-09-15 21:10 抽象Java 阅读(1075) 评论(0) 推荐(0)
ipc.Client: Retrying connect to server: .../10.0.0.27:10020. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
摘要：运行 时候爆出这个错 要开启 sbin下面的 historyserver 这个开启有点慢要等等；然后查看10200监听端口 直到看到，下面监听成功 阅读全文
posted @ 2019-09-14 13:18 抽象Java 阅读(1084) 评论(0) 推荐(0)
hadoop安装配置
摘要：core-site.xml : 指定HDFS中Name的地址 <property> <!-- 指定 <name>fs.defaultFS</name> <value>hdfs://hadoop.slave01:9000</value> </property> <property> <name>had 阅读全文
posted @ 2019-09-14 13:14 抽象Java 阅读(207) 评论(0) 推荐(0)
WordCount-JAVA版
摘要：WordCountMapper WordCountMapper WordCountReducer 阅读全文
posted @ 2019-09-04 23:43 抽象Java 阅读(270) 评论(0) 推荐(0)
scp、rsync、xsync
摘要：scp、 拷贝完全相同 rsync、拷贝有差异的文件 xsync、循环复制文件到所有节点相同的目录下 阅读全文
posted @ 2019-09-01 20:50 抽象Java 阅读(688) 评论(0) 推荐(1)