只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2020-06-09 19:06 数据驱动 阅读(8) 评论(0) 推荐(0) 编辑
摘要:下面整理了“大数据基础”的一系列知识,可供学习和参考。 --Hadoop-- >>Hadoop是什么? >>HDFS,Zookeeper,ZookeeperFailOverController(简称:ZKFC),JournalNode是什么? >>HDFS-HA搭建 >>Hadoop常用命令 >>H 阅读全文
posted @ 2019-09-14 00:52 数据驱动 阅读(674) 评论(0) 推荐(0) 编辑
摘要:作者:大数据之心链接:https://www.jianshu.com/p/5d889a67dcd3来源:简书著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 很高兴地告诉大家,具备新的里程碑意义的功能的Kafka 0.11.x版本(对应 Confluent Platform 3. 阅读全文
posted @ 2020-09-24 21:29 数据驱动 阅读(21) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-09-07 18:46 数据驱动 阅读(0) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-09-07 17:10 数据驱动 阅读(0) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-09-07 16:15 数据驱动 阅读(0) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-09-06 23:49 数据驱动 阅读(0) 评论(0) 推荐(0) 编辑
只有博主才能阅读该文。 阅读全文
posted @ 2020-09-06 17:47 数据驱动 阅读(0) 评论(0) 推荐(0) 编辑
摘要:刚开始,新创建的表预分区:如图所示 然后插入数据 import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; i 阅读全文
posted @ 2020-09-02 11:14 数据驱动 阅读(67) 评论(0) 推荐(0) 编辑
摘要:(what)什么是预分区? HBase表在刚刚被创建时,只有1个分区(region),当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值,默认10GB)时, 表将会进行split,分裂为2个分区。表在进行split的时候,会耗费大量的资源,频繁的分区对H 阅读全文
posted @ 2020-09-02 11:10 数据驱动 阅读(78) 评论(0) 推荐(0) 编辑
摘要:一、前言 Hive默认计算引擎时MR,为了提高计算速度,我们可以改为Tez引擎。至于为什么提高了计算速度,可以参考下图: 用Hive直接编写MR程序,假设有四个有依赖关系的MR作业,上图中,绿色是Reduce Task,云状表示写屏蔽,需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业 阅读全文
posted @ 2020-07-19 15:25 数据驱动 阅读(809) 评论(0) 推荐(0) 编辑
摘要:背景: 使用脚本ssh tuge2 ""/opt/zookeeper/apache-zookeeper-3.5.5-bin/bin/zkServer.sh start""的时候,报了如下异常: Exception in thread "main" java.lang.UnsupportedClass 阅读全文
posted @ 2020-07-18 14:41 数据驱动 阅读(136) 评论(0) 推荐(0) 编辑