摘要: spark集群安装之前需要满足如下条件: 集群主机名和hosts文件映射一一对应集群ssh免密登录配置集群每个节点防火墙关闭JDK正... 阅读全文
posted @ 2019-01-05 00:21 胖子坠 阅读(86) 评论(0) 推荐(0)
摘要: 最近在操作hive,在进入hive后,在 show databases; 的时候报了异常,如图 在网上百度了之后,发现应该是hive元数据库的编码问题. 按如下办法得到解决 1.删除原hive连接MySQL数据库中存放hive元数据的数据库。drop dat... 阅读全文
posted @ 2018-12-13 23:42 胖子坠 阅读(11) 评论(0) 推荐(0)
摘要: 有时候前台传过来一个日期类型,在后台接收就比较麻烦,这时候用springMVC的转换器,就比较方便了. 主要三步, 1.自定义参数转换器 自定义参数转换器必须实现Converter接口 public class DateConverter implements... 阅读全文
posted @ 2018-12-01 00:05 胖子坠 阅读(110) 评论(0) 推荐(0)
摘要: 安装好spark,安装hive,安装的spark版本是2.1.3版本,hive版本是1.1.0 安装好hive后,启动,发现一个报错,cannot access /export/spark/lib/spark-assembly-*.jar: No such f... 阅读全文
posted @ 2018-09-20 20:53 胖子坠 阅读(100) 评论(0) 推荐(0)
摘要: hue安装好后,启动hue的时候,报错 ImportError: No mudule named search.conf 检查了配置,发现没有问题,进入mysql,发现,数据库中没有表,所以,是在这里出了问题 重新进行编译,进入hue的主目录,运行命令 ... 阅读全文
posted @ 2018-09-05 15:04 胖子坠 阅读(4) 评论(0) 推荐(0)
摘要: 虚拟机安装redis,我的虚拟机地址是192.168.25.120,安装的redis版本是4.0.2 在虚拟机上安装好了redis,虚拟机连接没问题 在用Jedis连接虚拟机redis的时候报错. redis.clients.jedis.exceptions.... 阅读全文
posted @ 2018-08-27 20:57 胖子坠 阅读(145) 评论(0) 推荐(0)
摘要: Linux系统下,进入mysql的时候报错, 解决方法如下: 1.停止mysql服务: service mysql stop 2. 后台进入安全模式: mysqld_safe --user=mysql --skip-grant-tables --skip-n... 阅读全文
posted @ 2018-08-10 15:30 胖子坠 阅读(0) 评论(0) 推荐(0)
摘要: 刚部署好的spark,启动时报异常,JAVA_HOME is not set. 排查后发现,在sbin目录下的spark-config.sh文件下未添加JAVA_HOME的索引. 在该文件下添加jdk的路径,再分发到各个节点上就可以了 ... 阅读全文
posted @ 2018-07-30 11:24 胖子坠 阅读(130) 评论(0) 推荐(0)
摘要: eclipse用的好好的,突然有天运行一个程序运行不起来,一直报错could not create the java virtual machine,检查了好半天,不知道原因到底在哪. 网上查了好多方法,也还是不能解决.最后在... 阅读全文
posted @ 2018-07-23 11:34 胖子坠 阅读(5) 评论(0) 推荐(0)
摘要: 因为在Linux的环境下运行代码不是特别方便,所以,文章介绍的是在Windows环境下运行hadoop程序,搭配的环境是hadoop2.7.2+Windows10+eclipse. 一,搭建环境 1.将编译后的hadoop.jar包解压到非... 阅读全文
posted @ 2018-07-16 11:35 胖子坠 阅读(1177) 评论(0) 推荐(0)