上一页 1 2 3 4 5 6 ··· 14 下一页
摘要:作者:大数据之心链接:https://www.jianshu.com/p/5d889a67dcd3来源:简书著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 很高兴地告诉大家,具备新的里程碑意义的功能的Kafka 0.11.x版本(对应 Confluent Platform 3. 阅读全文
posted @ 2020-09-24 21:29 数据驱动 阅读(67) 评论(0) 推荐(0) 编辑
摘要:刚开始,新创建的表预分区:如图所示 然后插入数据 import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; i 阅读全文
posted @ 2020-09-02 11:14 数据驱动 阅读(265) 评论(0) 推荐(0) 编辑
摘要:(what)什么是预分区? HBase表在刚刚被创建时,只有1个分区(region),当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值,默认10GB)时, 表将会进行split,分裂为2个分区。表在进行split的时候,会耗费大量的资源,频繁的分区对H 阅读全文
posted @ 2020-09-02 11:10 数据驱动 阅读(453) 评论(0) 推荐(0) 编辑
摘要:一、前言 Hive默认计算引擎时MR,为了提高计算速度,我们可以改为Tez引擎。至于为什么提高了计算速度,可以参考下图: 用Hive直接编写MR程序,假设有四个有依赖关系的MR作业,上图中,绿色是Reduce Task,云状表示写屏蔽,需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业 阅读全文
posted @ 2020-07-19 15:25 数据驱动 阅读(2937) 评论(0) 推荐(0) 编辑
摘要:背景: 使用脚本ssh tuge2 ""/opt/zookeeper/apache-zookeeper-3.5.5-bin/bin/zkServer.sh start""的时候,报了如下异常: Exception in thread "main" java.lang.UnsupportedClass 阅读全文
posted @ 2020-07-18 14:41 数据驱动 阅读(397) 评论(0) 推荐(0) 编辑
摘要:前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点,一是充分利用CPU,二是节省内存,三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算,如果对于小数据量,可以设置为单台机器进行计算,这样可以大大缩减查询触发任务时间。 用户可 阅读全文
posted @ 2020-07-15 23:17 数据驱动 阅读(897) 评论(0) 推荐(0) 编辑
摘要:package com.bi import java.sql.{Connection, DriverManager, Timestamp} import java.util.Calendar /** * Created by xxx on 2017/6/28. */ object MySqlConn 阅读全文
posted @ 2020-07-10 22:32 数据驱动 阅读(123) 评论(0) 推荐(0) 编辑
摘要:格式说明: Letter Date or Time Component Presentation Examples G Era designator Text AD y Year Year 1996; 96 Y Week year Year 2009; 09 M Month in year Mont 阅读全文
posted @ 2020-07-10 12:12 数据驱动 阅读(1114) 评论(0) 推荐(0) 编辑
摘要:官网参考 常用命令: hdfs dfs -put text.txt /opt/user/root/text.txt //将文件进行上传(-put 本地路径 hdfs路径) hadoop fs -get /test/test1.har /data/test//将文件下载到本地 (-get hdfs路径 阅读全文
posted @ 2020-07-02 11:31 数据驱动 阅读(189) 评论(0) 推荐(0) 编辑
摘要:一、简介 在提交大数据作业到集群上运行时,通常需要先将项目打成 JAR 包。这里以 Maven 为例,常用打包方式如下: 不加任何插件,直接使用 mvn package 打包; 使用 maven-assembly-plugin 插件; 使用 maven-shade-plugin 插件; 使用 mav 阅读全文
posted @ 2020-06-30 10:47 数据驱动 阅读(215) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 14 下一页