2019年5月14日
sqoop oracle数据 导入rcfile格式的表
摘要： 万恶百度，没有这个问题的答案 阅读全文
posted @ 2019-05-14 17:30 VIP8cnbl 阅读(243) 评论(0) 推荐(0)
Spark-Streaming获取kafka数据的两种方式：Receiver与Direct的方式
摘要： 目录 Receiver Direct Direct代码 目录 Receiver Direct Direct代码 简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver 使用Kafka的高层次Consume 阅读全文
posted @ 2019-05-14 15:47 VIP8cnbl 阅读(425) 评论(0) 推荐(0)
hive的rcfile表数据导入到oracle
摘要： hive的rcfile表数据导入到oracle，由于rcfile使用的是特殊的压缩方式，所以依靠sqoop来导数据的时候会出现一下问题，例如 ERROR tool.ExportTool: Error during export: Export job failed! 此问题博主有偿解答，需要的留言。 阅读全文
posted @ 2019-05-14 15:14 VIP8cnbl 阅读(284) 评论(1) 推荐(0)
2019年4月4日
kylin启动
摘要： 启动顺序 hadoop start-all.sh start zk zaServer.sh start hbase start-hbase.sh start hive hive --service metastore & 阅读全文
posted @ 2019-04-04 10:31 VIP8cnbl 阅读(193) 评论(0) 推荐(0)
2019年4月3日
linux运行jar
摘要： java -jar bbp_api-1.0.jar com.bbp.controller.HelloController >> /home/log 2> 1 阅读全文
posted @ 2019-04-03 21:33 VIP8cnbl 阅读(109) 评论(0) 推荐(0)
Hbase 安装
摘要： #### 一、 HBase介绍##### 1 是什么###### 1.1 HBase是什么(baidu, 官网)``` HBase是一个Hadoop生态圈中的一种数据库, 分布式、可伸缩的、是一个稀疏的、存储海量数据的工具。以谷歌的Bigtable为模型的分布式、版本化、非关系数据库:结构化数据分布 阅读全文
posted @ 2019-04-03 20:59 VIP8cnbl 阅读(166) 评论(0) 推荐(0)
2019年3月21日
sqoop 数据迁移
摘要： sqoop文件配置 mysql迁移到hdfs ./sqoop import \--connect jdbc:mysql://node1:3306/sales_source \--username root \--password 123 \--target-dir /sqoop/product \ 阅读全文
posted @ 2019-03-21 22:59 VIP8cnbl 阅读(167) 评论(0) 推荐(0)
2019年3月20日
kafka 启动 与redis启动
摘要： 1. kafka 消息中间件或者消息队列 组件： 消息生产者：Producer，它是生产数据的源头，负责生成消息发送到服务器。 消息消费者：Consumer，它是消息的消费方，负责消费kafka的消息。 主题：Topic，是由用户创建的，配置在kafka服务器，用于建立生产者和消费者之间的生产和消费 阅读全文
posted @ 2019-03-20 21:33 VIP8cnbl 阅读(379) 评论(0) 推荐(0)
2019年3月12日
SparkSQL与SparkCore出指标
摘要： scala：2.10.6 pom.xml SparkSQL方式 阅读全文
posted @ 2019-03-12 22:03 VIP8cnbl 阅读(528) 评论(0) 推荐(0)
2019年3月7日
新机配置各种环境变量
摘要： 用户变量： classpath (.;%JAVA_HOME%/lib) JDK的环境变量 HADOOP_HOME (C:\myworks\hadoop-2.8.1) hadoop的环境变量 JAVA_HOME (D:\bigdata\jdk) JDK的环境变量 path (%JAVA_HOME%/b 阅读全文
posted @ 2019-03-07 14:48 VIP8cnbl 阅读(195) 评论(0) 推荐(0)