05 2020 档案
sqoop基本命令
摘要：可以使用sqoop help命令来查看sqoop支持哪些命令 1.列举mysql有多少个数据库 sqoop list-databases \ --connect jdbc:mysql://localhost:3306 \ --username root \ --password root 2.列举某 阅读全文
posted @ 2020-05-25 15:18 wnwn 阅读(277) 评论(0) 推荐(0)
sqoop-介绍及安装
摘要：1.sqoop概述 sqoop是Apache旗下一款hadoop和关系数据库服务器之间传送数据的工具； 核心的功能： 导入，迁入（从关系型数据库-->hdfs hive hbase） 导出，迁出（从hdfs hive hbase-->关系型数据库） 导入数据：mysql，Oracle导入数据到had 阅读全文
posted @ 2020-05-25 13:53 wnwn 阅读(195) 评论(0) 推荐(0)
HBase与Hive的集成操作
摘要：1.介绍 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中； 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建 阅读全文
posted @ 2020-05-25 13:46 wnwn 阅读(304) 评论(0) 推荐(0)
Phoenix简介及操作
摘要：1.什么是Phoenix Phoenix是构建在HBase上的一个SQL层，能让我们用标椎的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进程查询； Phoenix完全使用java编写，作为HBase内嵌的JDBC驱动，Phoenix查询引擎会将SQL查询转换为 阅读全文
posted @ 2020-05-12 17:14 wnwn 阅读(2233) 评论(0) 推荐(0)
HBase-Rest API操作
摘要：HBase Rest是建立在HBase java客户端基础之上的，提供的web服务；它存在的目的是给开发者一个更多的选择； 1.以daemon的方式启动后台进程 hbase-daemon.sh start rest -p 7891 2.访问 http://192.168.138.102:7891/  阅读全文
posted @ 2020-05-11 19:32 wnwn 阅读(1331) 评论(0) 推荐(0)
HBase-Java Native API操作
摘要：1.准备工作 需要将Linux系统下的hbase-site.xml文件和hdfs-site.xml文件放置在项目的resources的路径下； 2.导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit< 阅读全文
posted @ 2020-05-11 19:28 wnwn 阅读(549) 评论(0) 推荐(0)
HBase-shell操作
摘要：1.进入HBase命令行 在你安装的服务器节点上，执行命令：hbase shell，会进入到你的hbase shell客户端； 2.HBase的常用命令 关于表的操作包括（创建create，查看列表list；查看表的详细信息desc，删除表drop，清空表truncate，修改表的定义alter）； 阅读全文
posted @ 2020-05-11 19:25 wnwn 阅读(210) 评论(0) 推荐(0)
HBase-基本架构
摘要：1.基本架构图 2.基本组件 2.1 client 包含访问HBase接口，并维护cache来加快对HBase的访问； 2.2 zookeeper （1）保证在任何时候，集群只有一个master； （2）存储所有region的寻址入口； （3）实时监控region server的上线下线活动信息，并 阅读全文
posted @ 2020-05-11 19:19 wnwn 阅读(269) 评论(0) 推荐(0)
HBase-物理模型
摘要：1.存储实例 （1）每个column Family存储在HDFS上的一个单独的文件中； （2）Key和Version Number在每个Column Family中均有一份； （3）空值不会被保存； （4）HBase为每个值维护了多级索引，即Row Key,Column Family，Column 阅读全文
posted @ 2020-05-11 19:16 wnwn 阅读(277) 评论(0) 推荐(0)
HBase-集群安装
摘要：1.下载资源包 2.上传并解压hbase tar -zxvf hbase-1.3.6-bin.tar.gz 3.重命名为hbase mv hbase-1.3.6 hbase 4.下载zookeeper的资源包 5.上传并解压zookeeper tar -zxvf zookeeper-3.4.6.ta 阅读全文
posted @ 2020-05-11 19:13 wnwn 阅读(153) 评论(0) 推荐(0)
HBase-介绍
摘要：1.HBase概述 1.1 HBase是一个基于HDFS的面向列的分布式数据库，源于Google的BIGTable论文； 1.2 HBase是Apache Hadoop生态系统中的重要组成部分，主要用于海量结构化数据存储； 1.3 HBase内部管理的文件全部存储在HDFS中； 2.NOSQL简介 阅读全文
posted @ 2020-05-11 19:11 wnwn 阅读(334) 评论(0) 推荐(0)