上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 45 下一页
摘要: 1、Phoenix 简介 Phoenix 是 Hbase 的开源的 SQL 皮肤,可以使用标准的JDBC API 代替HBase 客户端 API来创建表,插入和查询Hbase数据. Phoenix 特点: 易集成:如 Spark,Hive,Pig,Flume 等 操作进度:DML/DDL 支持和SQ 阅读全文
posted @ 2022-05-21 20:53 晓枫的春天 阅读(354) 评论(0) 推荐(0)
摘要: 1、引入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.4.11</version> </dependency> <dependency> <gr 阅读全文
posted @ 2022-05-20 11:26 晓枫的春天 阅读(73) 评论(0) 推荐(0)
摘要: 1、架构原理 StoreFile:保存实际数据的物理文件,StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的。 MemStore:写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在M 阅读全文
posted @ 2022-05-19 21:00 晓枫的春天 阅读(165) 评论(0) 推荐(1)
摘要: 1、数据库操作 1、进入 hbase 客户端、帮助命令 [hui@hadoop201 conf]$ hbase shell help 2、查看所有库 namespace 也称之为 命名空间 hbase:008:0> list_namespace NAMESPACE default hbase hba 阅读全文
posted @ 2022-05-16 21:25 晓枫的春天 阅读(363) 评论(0) 推荐(0)
摘要: 1、部署说明 1.1、Java 版本 集群安装的jdk 版本是 [hui@hadoop201 ~]$ chkall.sh echo $JAVA_HOME hadoop201 /opt/module/jdk1.8 hadoop202 /opt/module/jdk1.8 hadoop203 /opt/ 阅读全文
posted @ 2022-05-11 17:28 晓枫的春天 阅读(104) 评论(0) 推荐(0)
摘要: 1、Hbase 简介 1.1、Hbase 定义 hbase 是一种基于 HDFS 存储的 分布式、可扩展、支持海量数据存储的NoSQL数据库。可以实现,对海量数据的增删改查、 NoSQL = Not Only SQL,Hbase 源于 谷歌的 Bigtable 的开源,依赖于 Hadoop 的 hd 阅读全文
posted @ 2022-05-10 12:06 晓枫的春天 阅读(547) 评论(0) 推荐(0)
摘要: 问题场景 今天刚装完hbase,启动后,主节点的 HMaster 直接挂了,但是 backup-masters 启动了,查看了 主节点的 master 的日志如下: 2022-05-09 15:51:16,355 INFO [Thread-14] wal.ProcedureWALFile: Arch 阅读全文
posted @ 2022-05-09 08:13 晓枫的春天 阅读(218) 评论(0) 推荐(0)
摘要: 1、数据采集——maxwell 实现 1.1、maxwell 介绍 Maxwell 是由美国zendesk开源,用java编写的Mysql实时抓取软件,其抓取的原理也是基于binlog。 1.2、maxwell 与 canal 对比 Maxwell没有canal那种server+client模式,只 阅读全文
posted @ 2022-05-08 08:28 晓枫的春天 阅读(67) 评论(0) 推荐(0)
摘要: 问题场景 今天在装 hbase ,刚配置环境变量source 后 发现常用的命令都无法使用了 [hui@hadoop201 ~]$ ll -bash: ls: command not found [hui@hadoop201 ~]$ ls -bash: ls: command not found 问 阅读全文
posted @ 2022-05-07 06:15 晓枫的春天 阅读(1140) 评论(0) 推荐(0)
摘要: 1、需求分析 1.1、当日新增付费用户分析 按省份|用户性别|用户年龄段,统计当日新增付费用户首单平均消费及人数占比无论是省份名称、用户性别、用户年龄,订单表中都没有这些字段,需要订单(事实表)和维度表(省份、用户)进行关联,形成宽表后将数据写入到ES,通过Kibana进行分析以及图形展示。 1.2 阅读全文
posted @ 2022-05-06 12:14 晓枫的春天 阅读(223) 评论(0) 推荐(0)
上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 45 下一页