何国秀_xue

2018年12月14日

摘要： Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差与Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成S 阅读全文

posted @ 2018-12-14 17:09 何国秀_xue 阅读(554) 评论(0) 推荐(0)

2018年12月4日

分析hbase

摘要： package com.bnls.test.parseimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.stream 阅读全文

posted @ 2018-12-04 15:23 何国秀_xue 阅读(145) 评论(0) 推荐(0)

写数据到hbase

摘要： package com.bnls.test.hbaseimport org.apache.hadoop.hbase._import org.apache.hadoop.hbase.client.{ConnectionFactory, Delete, HTable, Put}import org.ap 阅读全文

posted @ 2018-12-04 15:21 何国秀_xue 阅读(301) 评论(0) 推荐(0)

数据库连接池ConnectionPool

摘要： package com.bnls.test.poolimport java.sql.{Connection, ResultSet}import com.jolbox.bonecp.{BoneCP, BoneCPConfig}import org.slf4j.LoggerFactoryobject C 阅读全文

posted @ 2018-12-04 15:20 何国秀_xue 阅读(604) 评论(0) 推荐(0)

SparkSQL

摘要： package com.bnls.test.parseimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.stream 阅读全文

posted @ 2018-12-04 15:20 何国秀_xue 阅读(144) 评论(0) 推荐(0)

sparkstreaming + kafka + zookeeper + hbase

摘要： package com.bnls.test.sparkimport com.bnls.test.common.ZookeeperHelperimport com.bnls.test.hbase.HbaseHelperimport org.apache.spark.streaming.dstream. 阅读全文

posted @ 2018-12-04 15:19 何国秀_xue 阅读(398) 评论(0) 推荐(0)

zookeeper

摘要： package com.bnls.test.commonimport kafka.common.TopicAndPartitionimport org.apache.curator.framework.CuratorFrameworkFactoryimport org.apache.curator. 阅读全文

posted @ 2018-12-04 15:18 何国秀_xue 阅读(249) 评论(0) 推荐(0)

Kafka：无丢失提取kafka的值，详解kafka的消费过程

摘要：目录： 1、需求 2、代码步鄹 3、代码展现 4、pom.xml文件 5、结果展现 ——————————————————————————————————– 1、需求前提：将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClust 阅读全文

posted @ 2018-12-04 14:04 何国秀_xue 阅读(296) 评论(0) 推荐(0)

2018年11月29日

Mysql + canal + zookeeper环境搭建

摘要： Mysql + canal + zookeeper环境搭建一、mysql集群搭建 1. mysql基本环境操作系统： Linux version 2.6.32-431.el6.x86_64 数据库：MySQL Community Server 5.7.20 主节点IP：10.60.81.157 阅读全文

posted @ 2018-11-29 08:48 何国秀_xue 阅读(4640) 评论(1) 推荐(0)

公告