摘要：场景：spark+hive采用客户端和服务端分离的模式，客户端启动spark-sql 或者spark-submit、spark-shell 操作的都是本地数据源，无论服务端hive有没有启动，烦恼了一周，终于有了解决办法。 问题重现：采用spark-submit提交的方式 conf = (Spark 阅读全文

摘要：pyspark提交任务报错： UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 885: invalid start byte 文件含有中文，把中文全去掉。 阅读全文

摘要：环境搭建参考于 https://www.cnblogs.com/zimo-jing/p/8892697.html 1、所有节点依次启动zookeeper # zkServer.sh start >> 7915 QuorumPeerMain 2、所有节点依次启动journalnode 保证数据同步(此 阅读全文

摘要：安装好hadoop，然后安装hbase启动时出现问题，下面是报错信息： 分析：启动时找不到类文件，搜了好多有的说是classpath环境变量问题，最后终于找到了问题所在，由于下的是src文件 即未编译的文件，不能直接用，必须先编译，重新下载bin文件 即二进制文件。 然后把需要的配置配好重新启动 总 阅读全文

摘要：报错信息： 分析：报错信息大概意思是无法解析spark-slave1和spark-slave2主机名，我子节点的主机名明明是node1和node2，找了很久终于找到了问题所在 在slaves文件中 设置了默认的子节点主机名，改为自己的子节点即可 然后重启hadoop 然后发现就不报错了，子节点启动成 阅读全文