2021年2月26日
摘要: public void getexport(Ambassador ambassador,HttpServletResponse response) { //查询语句 List<Ambassador> ambassadorList = rwAmbassadorApplyMapper.selectExp 阅读全文
posted @ 2021-02-26 14:50 wnwn 阅读(125) 评论(0) 推荐(0) 编辑
2020年5月25日
摘要: 可以使用sqoop help命令来查看sqoop支持哪些命令 1.列举mysql有多少个数据库 sqoop list-databases \ --connect jdbc:mysql://localhost:3306 \ --username root \ --password root 2.列举某 阅读全文
posted @ 2020-05-25 15:18 wnwn 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 1.sqoop概述 sqoop是Apache旗下一款hadoop和关系数据库服务器之间传送数据的工具; 核心的功能: 导入,迁入(从关系型数据库-->hdfs hive hbase) 导出,迁出(从hdfs hive hbase-->关系型数据库) 导入数据:mysql,Oracle导入数据到had 阅读全文
posted @ 2020-05-25 13:53 wnwn 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 1.介绍 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询,同时也可以将hive表中的数据映射到HBase中; 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建 阅读全文
posted @ 2020-05-25 13:46 wnwn 阅读(272) 评论(0) 推荐(0) 编辑
2020年5月12日
摘要: 1.什么是Phoenix Phoenix是构建在HBase上的一个SQL层,能让我们用标椎的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进程查询; Phoenix完全使用java编写,作为HBase内嵌的JDBC驱动,Phoenix查询引擎会将SQL查询转换为 阅读全文
posted @ 2020-05-12 17:14 wnwn 阅读(2041) 评论(0) 推荐(0) 编辑
2020年5月11日
摘要: HBase Rest是建立在HBase java客户端基础之上的,提供的web服务;它存在的目的是给开发者一个更多的选择; 1.以daemon的方式启动后台进程 hbase-daemon.sh start rest -p 7891 2.访问 http://192.168.138.102:7891/  阅读全文
posted @ 2020-05-11 19:32 wnwn 阅读(1245) 评论(0) 推荐(0) 编辑
摘要: 1.准备工作 需要将Linux系统下的hbase-site.xml文件和hdfs-site.xml文件放置在项目的resources的路径下; 2.导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit< 阅读全文
posted @ 2020-05-11 19:28 wnwn 阅读(526) 评论(0) 推荐(0) 编辑
摘要: 1.进入HBase命令行 在你安装的服务器节点上,执行命令:hbase shell,会进入到你的hbase shell客户端; 2.HBase的常用命令 关于表的操作包括(创建create,查看列表list;查看表的详细信息desc,删除表drop,清空表truncate,修改表的定义alter); 阅读全文
posted @ 2020-05-11 19:25 wnwn 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 1.基本架构图 2.基本组件 2.1 client 包含访问HBase接口,并维护cache来加快对HBase的访问; 2.2 zookeeper (1)保证在任何时候,集群只有一个master; (2)存储所有region的寻址入口; (3)实时监控region server的上线下线活动信息,并 阅读全文
posted @ 2020-05-11 19:19 wnwn 阅读(217) 评论(0) 推荐(0) 编辑
摘要: 1.存储实例 (1)每个column Family存储在HDFS上的一个单独的文件中; (2)Key和Version Number在每个Column Family中均有一份; (3)空值不会被保存; (4)HBase为每个值维护了多级索引,即Row Key,Column Family,Column 阅读全文
posted @ 2020-05-11 19:16 wnwn 阅读(235) 评论(0) 推荐(0) 编辑