摘要：
a) 准备测试数据 这里准备的csv文件data_test.csv,内容没用''包裹,逗号作为列分隔符 171301,燕青,男,27,发展部 171207,武松,男,39,开发部 171307,李逵,男,41,开发部 320812,宋江,男,45,战略部 321009,顾大嫂,女,38,后勤部 17 阅读全文
posted @ 2023-10-18 16:20
业余砖家
阅读(172)
评论(0)
推荐(0)
摘要：
Hbase 预分区 HBase表在刚刚被创建时，只有1个分区（region），当一个region过大（达到hbase.hregion.max.filesize属性中定义的阈值，默认10GB）时，表将会进行split，分裂为2个分区。表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的 阅读全文
posted @ 2023-10-17 18:37
业余砖家
阅读(63)
评论(0)
推荐(0)
摘要：
hbase shell操作 一、DDL操作 1．开启hbase shell hbase shell 2．查看hbase状态 Status 3．查看hbase版本 Version 4．创建命名空间 create_namespace '命名空间名' 5．显示所有命名空间 list_namespace 6 阅读全文
posted @ 2023-10-17 18:36
业余砖家
阅读(89)
评论(0)
推荐(0)
摘要：
一、如何选择压缩算法以及Data_Block_Encoding?（1）如果Key很长，或者有很多Column，那么推荐使用FAST_DIFF。（2）如果数据是冷数据，不经常被访问，那么使用GZIP压缩格式。因为虽然它比Snappy/LZO需要占用更多而CPU，但是它的压缩比率更高，更节省磁盘。（3） 阅读全文
posted @ 2023-10-17 16:12
业余砖家
阅读(634)
评论(0)
推荐(0)
摘要：
由于Hbase是列式数据库，没有提供类似SQL的数据查询语句，可以通过以下三种方式获取表的总行数。 1. 使用Hbase自带的Count命令 hbase提供了count命令可以在hbase交互界面使用，获取总行数。 hbase> count 'test' hbase> count 'test', I 阅读全文
posted @ 2023-10-17 15:39
业余砖家
阅读(792)
评论(0)
推荐(0)
摘要：
一、宽表和高表定义 HBase 中的表可以设计为高表（tall-narrow table） 和 宽表（flat-wide table）： (1) 宽表是指很多列较少行，即列多行少的表，一行中的数据量较大，行数少； (2) 高表是指很多行较少列，即行多列少，一行中的数据量较少，行数大。 二、宽表和高表 阅读全文
posted @ 2023-10-17 15:05
业余砖家
阅读(442)
评论(0)
推荐(0)
摘要：
问题描述：在bash下用cat显示二进制文件后会出现乱码，整个终端显示包括shell提示符都是乱码，这个跟语言环境无关。 解决办法： 恢复的话，大致有以下几种方法：方法一：盲打输入echo -e '\xf'并回车。与这个命令相对的是echo -e '\xe'，在正常状态下输入此命令会把终端搞出乱码来 阅读全文
posted @ 2023-10-17 14:48
业余砖家
阅读(1518)
评论(0)
推荐(0)
摘要：
问题描述：虚拟机CentOS7，输入大小写字母反了，开启capslock的时候变成小写字母了，关闭则变成大写了。。。 解决办法：只需要执行：setleds +caps 或 setleds -caps 即可。 如图： 阅读全文
posted @ 2023-10-17 14:28
业余砖家
阅读(1771)
评论(0)
推荐(0)
摘要：
在查询hdfs时或者执行程序向hdfs写入数据时遇到报错：Operation category READ is not supported in state standby 意思是：该主机状态为待机,不支持操作类别READ. 你会发现最基本的hdfs命令都不能执行，例如：hadoop fs -ls 阅读全文
posted @ 2023-10-13 14:56
业余砖家
阅读(4207)
评论(0)
推荐(0)
摘要：
1、启动命令 #！/bin/bash nohup hive --service metastore >> $HIVE_HOME/logs/metasotre.log 2>&1 & nohup hive --service hiveserver2 >> $HIVE_HOME/logs/hiveserv 阅读全文
posted @ 2023-10-13 12:22
业余砖家
阅读(1469)
评论(0)
推荐(0)
浙公网安备 33010602011771号