HBase学习 - 随笔分类 - Tanglement

本地IDEA(Windows)访问ECS服务器HBase

摘要：添加Maven依赖一般来说只要有hbase-clientJAR包就好，毕竟我们是客户端远程访问HBase。 <dependencies>  <depen 阅读全文

posted @ 2020-07-07 17:51 Tanglement 阅读(848) 评论(0) 推荐(0)

阿里云ECS大数据环境搭建

摘要：背景原本自己都是使用笔记本的虚拟机来搭建大数据环境，调试代码，运行项目。但自己的笔记本是13寸的，屏幕很小，经常由于要打开多个终端，同时辅以网页，造成小小的屏幕里有很多窗口，体验极差。有想过通过外接大显示屏来解决，但显示屏固定连接了自己的游戏本。等于宿舍里操作游戏本，实验室操作台式机，平时背着轻阅读全文

posted @ 2020-07-03 15:07 Tanglement 阅读(665) 评论(0) 推荐(1)

电信客服_数据写入HBase

摘要：HBaseDao 初始化函数,init()创建命名空间和表插入数据函数，rowkey和数据明显看出封装数据对象后，代码简洁。 BaseDao HBaseDao的具体实现方法。 start()，建立连接和获取Admin end()，关闭连接和admin createTableXX(),创建表，输入阅读全文

posted @ 2020-04-20 11:03 Tanglement 阅读(333) 评论(0) 推荐(0)

HBase集群搭建

摘要：准备工作需要先安装好Zookeeper集群和Hadoop集群 Zookeeper集群启动 ./bin/zkServer.sh start ./bin/zkServer.sh start ./bin/zkServer.sh start Hadoop集群启动 ./sbin/start-dfs.sh . 阅读全文

posted @ 2020-04-16 19:07 Tanglement 阅读(483) 评论(0) 推荐(0)

HBase优化

摘要：高可用在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，整个HBase集群就出问题了，所以HBase支持对HMaster的高可用配置。高可用配置是为了解决主从架构的单点失效故障问题。所以要对Master进行一个阅读全文

posted @ 2020-03-14 19:02 Tanglement 阅读(152) 评论(0) 推荐(0)

HBase与Hive集成

摘要：之前有操作过HBase和Hive的案例，将30w条数据从Hive导入HBase。使用sqoop可以快速简单做到，但是在最新版HBase2.0与最新版Hive3.0之间，旧版sqoop不行，因此当时使用了JDBC来连接两者，达到数据导出的目的。 HBase与Hive的对比 Hive 作为数据仓库，Hi 阅读全文

posted @ 2020-03-14 17:57 Tanglement 阅读(245) 评论(0) 推荐(0)

HBase与MapReduce集成

摘要：感觉效率不是很高，是否能用sqoop来解决HBase与其他文件系统的数据导入导出。通过HBase的相关JavaApi，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件导入HBase的表中，或我们从HBase的表中读取一些原始数据用于MapReduc 阅读全文

posted @ 2020-03-14 13:45 Tanglement 阅读(151) 评论(0) 推荐(0)

HBase API(新版本)

摘要：以下API均为HBase API 3.0版本。 API3.0与API2.0对比 Put、Delete、Scan类的API没有发生太多改变 HTableDescriptor类被TableDescriptorBuilder替代，HColumnDescriptor被ColumnFamilyDescript 阅读全文

posted @ 2020-03-11 20:19 Tanglement 阅读(1514) 评论(0) 推荐(1)

HBase基础知识

摘要：HBase简介 HBase的原型是BigTable HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，可以廉价搭建大规模结构化存储集群 HBase的目标是存储并处理大数据利用HDFS作为文件存储系统，利用MapReduce处理数据，利用Zookeeper协同服务扩展HRegion 阅读全文

posted @ 2020-03-11 11:17 Tanglement 阅读(337) 评论(0) 推荐(0)

Spark对HBase读写数据

摘要：HBase安装在HBase学习中有安装指导博客创建HBase表启动Hadoop、Spark 创建表插入数据 Spark配置下载jar包把hbase/lib下的jar包拷贝到spark/jars目录下。拷贝的jar包有：hbase .jar,guava 12.0.1.jar,htrace 阅读全文

posted @ 2020-03-07 11:10 Tanglement 阅读(485) 评论(0) 推荐(0)

HBase安装

摘要：解压安装包目录改名为/hbase HBase配置文件伪分布式需要配置两个文件，hbase/conf/hbase env.sh和hbase/conf/hbase site.xml 这样就安装成功了。启动hadoop和hbase，进入hbase shell。阅读全文

posted @ 2020-03-06 17:48 Tanglement 阅读(113) 评论(0) 推荐(0)

HBase权威指南

摘要：简介和安装 HBase来源列式数据库的优势 HBase的意义 HBase的安装、配置文件客户端API：基础知识基础操作Put Get Delete Scan Scan与Get的区别，一批记录和一条记录 Result类和ResultScanner类行锁较少RPC 远程程序调用，减少网络开销阅读全文

posted @ 2020-02-23 11:32 Tanglement 阅读(148) 评论(0) 推荐(0)

随笔分类 - HBase学习

公告