随笔分类 -  spark

java.lang.NoClassDefFoundError: org/I0Itec/zkclient/IZkStateListener
摘要：spark streaming 读 kafka 报错 java.lang.NoClassDefFoundError: org/I0Itec/zkclient/IZkStateListener 添加下面的依赖解决： 阅读全文
posted @ 2018-10-29 09:49 努力就是魅力 阅读(4368) 评论(0) 推荐(0)
Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
摘要：注意spark的Scala版本和java版本 修改后为官方指定的版本正常运行 Error:scalac: Error: object FloatRef does not have a member create scala.reflect.internal.FatalError 还有这个也可能是版本 阅读全文
posted @ 2018-10-25 17:56 努力就是魅力 阅读(1117) 评论(0) 推荐(0)
使用spark将内存中的数据写入到hive表中
摘要：使用spark将内存中的数据写入到hive表中 hive site.xml ` 下面是示例代码 阅读全文
posted @ 2018-10-19 09:38 努力就是魅力 阅读(12040) 评论(0) 推荐(0)
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Mypc, access=WRITE, inode="/":fan:supergroup:drwxr-xr-x
摘要：在window上编程提示没有写Hadoop的权限 Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Mypc, access=WRITE, ino 阅读全文
posted @ 2018-10-14 18:00 努力就是魅力 阅读(726) 评论(0) 推荐(0)
scala安装遇到的问题：[ERROR] Failed to construct terminal; falling back to unsupported java.lang.NumberFormatException: For input string: "0x100"
摘要：安装scala时遇到的问题 上面这个异常可能是由于版本不兼容导致，将scala版本换成2.11.8完美解决 补充： 环境变量的配置 阅读全文
posted @ 2018-08-30 09:07 努力就是魅力 阅读(4690) 评论(0) 推荐(0)
spark streaming 消费 kafka入门采坑解决过程
摘要：kafka 服务相关的命令 # 开启kafka的服务器bin/kafka-server-start.sh -daemon config/server.properties &# 创建topicbin/kafka-topics.sh --create --zookeeper bigdata-senio 阅读全文
posted @ 2018-07-16 12:02 努力就是魅力 阅读(2327) 评论(0) 推荐(0)