2018年2月1日

Spark访问Hive表
摘要： 知识点1：Spark访问HIVE上面的数据 配置注意点：. 1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你${spark_home}/lib中（spark2.0之后是${spark_home}/jars下），不清楚就全部拷贝过去 2.将Hive的配 阅读全文
posted @ 2018-02-01 10:36 xiaoshiyun 阅读(21626) 评论(0) 推荐(0) 编辑

2017年12月13日

重启HA集群NameNode无缘无故挂掉
摘要： 重启HA集群后，两个NameNode无缘无故挂掉，查看日志时显示错误如下： 原因：journalnode的端口是8485，默认情况下是先NameNode启动后再启动journalnode，如果在NameNode启动10s后journalnode还没有启动，就会造成NameNode挂掉 解决方法：由于 阅读全文
posted @ 2017-12-13 15:03 xiaoshiyun 阅读(1597) 评论(0) 推荐(0) 编辑

2017年9月30日

CentOS6.5上安装MySQL
摘要： 1.查看操作系统的相关信息 2.查看系统上所有MySQL的rpm包并删除 [root@master ~]# rpm -qa | grep -i mysql [root@masterc ~]# yum -y remove mysql-libs-5.1* 3.下载MySQL-5.6.21所需的rpm包 阅读全文
posted @ 2017-09-30 15:39 xiaoshiyun 阅读(123) 评论(0) 推荐(0) 编辑

2017年9月11日

Kafka 术语
摘要： 什么是Kafka？ Apache Kafka是一个分布式流媒体平台，允许你发布和订阅记录流，允许你以容错方式存储记录流，允许你处理数据流。或是说Kafka是一个分布式、支持分区、多副本的，基于zookeeper协调的分布式消息系统。那自己眼中的kafka是什么？ Kafka的术语 Topic（主题） 阅读全文
posted @ 2017-09-11 13:38 xiaoshiyun 阅读(210) 评论(0) 推荐(0) 编辑

导航