摘要：
1.下载maven 从官方下载maven，下载页面：http://maven.apache.org/download.cgi 2.安装maven maven压缩包解压到一个没有中文，空格或其他特殊字符的文件夹内即可使用。 3.配置maven环境变量 maven 的使用是在jdk的基础上，所以电脑必须 阅读全文
posted @ 2023-10-24 10:21
业余砖家
阅读(479)
评论(0)
推荐(0)
摘要：
一、DataX简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 二、DataX架构原理 为了解决异构数据源同步问题，DataX将复杂的网 阅读全文
posted @ 2023-10-19 17:21
业余砖家
阅读(792)
评论(0)
推荐(0)
摘要：
1．expect简介 expect是一种脚本语言，它能够代替人工实现与终端的交互，主要应用于执行命令和程序时，系统以交互形式要求输入指定字符串，实现交互通信。 安装命令： yum install expect ； 2．expect使用场景 （1）并根据预定标准回答其问题，回答“是”、“否”或将控制权 阅读全文
posted @ 2023-10-19 10:38
业余砖家
阅读(573)
评论(0)
推荐(0)
摘要：
1. sshpass简介 sshpass 是一个在非交互式 ssh 会话中自动输入密码的工具。它可以直接在命令行中指定密码，因此可以用于 Shell 脚本等自动化场景。在 Red Hat 系统中，可以通过 epel-release 源安装 sshpass。 epel-release 源是 Extra 阅读全文
posted @ 2023-10-19 10:11
业余砖家
阅读(4646)
评论(0)
推荐(0)
摘要：
在shell中做小数运算，可以借助bc 或者awk工具 一、使用bc做小数运算，scale指定小数点位数 1、加法运算（scale参数无效） #echo "5.999 + 5.001"|bc 6.000 #echo "5.111+ 5.1114"|bc 10.2224 运算结果小数点位数以加数中最大 阅读全文
posted @ 2023-10-19 09:48
业余砖家
阅读(2678)
评论(0)
推荐(0)
摘要：
a) 准备测试数据 这里准备的csv文件data_test.csv,内容没用''包裹,逗号作为列分隔符 171301,燕青,男,27,发展部 171207,武松,男,39,开发部 171307,李逵,男,41,开发部 320812,宋江,男,45,战略部 321009,顾大嫂,女,38,后勤部 17 阅读全文
posted @ 2023-10-18 16:20
业余砖家
阅读(169)
评论(0)
推荐(0)
摘要：
Hbase 预分区 HBase表在刚刚被创建时，只有1个分区（region），当一个region过大（达到hbase.hregion.max.filesize属性中定义的阈值，默认10GB）时，表将会进行split，分裂为2个分区。表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的 阅读全文
posted @ 2023-10-17 18:37
业余砖家
阅读(54)
评论(0)
推荐(0)
摘要：
hbase shell操作 一、DDL操作 1．开启hbase shell hbase shell 2．查看hbase状态 Status 3．查看hbase版本 Version 4．创建命名空间 create_namespace '命名空间名' 5．显示所有命名空间 list_namespace 6 阅读全文
posted @ 2023-10-17 18:36
业余砖家
阅读(81)
评论(0)
推荐(0)
摘要：
一、如何选择压缩算法以及Data_Block_Encoding?（1）如果Key很长，或者有很多Column，那么推荐使用FAST_DIFF。（2）如果数据是冷数据，不经常被访问，那么使用GZIP压缩格式。因为虽然它比Snappy/LZO需要占用更多而CPU，但是它的压缩比率更高，更节省磁盘。（3） 阅读全文
posted @ 2023-10-17 16:12
业余砖家
阅读(613)
评论(0)
推荐(0)
摘要：
由于Hbase是列式数据库，没有提供类似SQL的数据查询语句，可以通过以下三种方式获取表的总行数。 1. 使用Hbase自带的Count命令 hbase提供了count命令可以在hbase交互界面使用，获取总行数。 hbase> count 'test' hbase> count 'test', I 阅读全文
posted @ 2023-10-17 15:39
业余砖家
阅读(766)
评论(0)
推荐(0)
浙公网安备 33010602011771号