博客园 - wnwn
uuid:6cbd1ba2-f883-4c34-aed1-30dde64a3a3e;id=670472
2021-02-26T06:50:10Z
wnwn
https://www.cnblogs.com/wnwn/
feed.cnblogs.com
https://www.cnblogs.com/wnwn/p/14452295.html
无模板实现导出操作 - wnwn
public void getexport(Ambassador ambassador,HttpServletResponse response) { //查询语句 List<Ambassador> ambassadorList = rwAmbassadorApplyMapper.selectExp
2021-02-26T06:50:00Z
2021-02-26T06:50:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】public void getexport(Ambassador ambassador,HttpServletResponse response) { //查询语句 List<Ambassador> ambassadorList = rwAmbassadorApplyMapper.selectExp <a href="https://www.cnblogs.com/wnwn/p/14452295.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12957127.html
sqoop基本命令 - wnwn
可以使用sqoop help命令来查看sqoop支持哪些命令 1.列举mysql有多少个数据库 sqoop list-databases \ --connect jdbc:mysql://localhost:3306 \ --username root \ --password root 2.列举某
2020-05-25T07:18:00Z
2020-05-25T07:18:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】可以使用sqoop help命令来查看sqoop支持哪些命令 1.列举mysql有多少个数据库 sqoop list-databases \ --connect jdbc:mysql://localhost:3306 \ --username root \ --password root 2.列举某 <a href="https://www.cnblogs.com/wnwn/p/12957127.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12956492.html
sqoop-介绍及安装 - wnwn
1.sqoop概述 sqoop是Apache旗下一款hadoop和关系数据库服务器之间传送数据的工具; 核心的功能: 导入,迁入(从关系型数据库-->hdfs hive hbase) 导出,迁出(从hdfs hive hbase-->关系型数据库) 导入数据:mysql,Oracle导入数据到had
2020-05-25T05:53:00Z
2020-05-25T05:53:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.sqoop概述 sqoop是Apache旗下一款hadoop和关系数据库服务器之间传送数据的工具; 核心的功能: 导入,迁入(从关系型数据库-->hdfs hive hbase) 导出,迁出(从hdfs hive hbase-->关系型数据库) 导入数据:mysql,Oracle导入数据到had <a href="https://www.cnblogs.com/wnwn/p/12956492.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12956453.html
HBase与Hive的集成操作 - wnwn
1.介绍 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询,同时也可以将hive表中的数据映射到HBase中; 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建
2020-05-25T05:46:00Z
2020-05-25T05:46:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.介绍 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询,同时也可以将hive表中的数据映射到HBase中; 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建 <a href="https://www.cnblogs.com/wnwn/p/12956453.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12877388.html
Phoenix简介及操作 - wnwn
1.什么是Phoenix Phoenix是构建在HBase上的一个SQL层,能让我们用标椎的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进程查询; Phoenix完全使用java编写,作为HBase内嵌的JDBC驱动,Phoenix查询引擎会将SQL查询转换为
2020-05-12T09:14:00Z
2020-05-12T09:14:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.什么是Phoenix Phoenix是构建在HBase上的一个SQL层,能让我们用标椎的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进程查询; Phoenix完全使用java编写,作为HBase内嵌的JDBC驱动,Phoenix查询引擎会将SQL查询转换为 <a href="https://www.cnblogs.com/wnwn/p/12877388.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12870338.html
HBase-Rest API操作 - wnwn
HBase Rest是建立在HBase java客户端基础之上的,提供的web服务;它存在的目的是给开发者一个更多的选择; 1.以daemon的方式启动后台进程 hbase-daemon.sh start rest -p 7891 2.访问 http://192.168.138.102:7891/ 
2020-05-11T11:32:00Z
2020-05-11T11:32:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】HBase Rest是建立在HBase java客户端基础之上的,提供的web服务;它存在的目的是给开发者一个更多的选择; 1.以daemon的方式启动后台进程 hbase-daemon.sh start rest -p 7891 2.访问 http://192.168.138.102:7891/  <a href="https://www.cnblogs.com/wnwn/p/12870338.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12870217.html
HBase-Java Native API操作 - wnwn
1.准备工作 需要将Linux系统下的hbase-site.xml文件和hdfs-site.xml文件放置在项目的resources的路径下; 2.导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit<
2020-05-11T11:28:00Z
2020-05-11T11:28:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.准备工作 需要将Linux系统下的hbase-site.xml文件和hdfs-site.xml文件放置在项目的resources的路径下; 2.导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit< <a href="https://www.cnblogs.com/wnwn/p/12870217.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12812961.html
HBase-shell操作 - wnwn
1.进入HBase命令行 在你安装的服务器节点上,执行命令:hbase shell,会进入到你的hbase shell客户端; 2.HBase的常用命令 关于表的操作包括(创建create,查看列表list;查看表的详细信息desc,删除表drop,清空表truncate,修改表的定义alter);
2020-05-11T11:25:00Z
2020-05-11T11:25:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.进入HBase命令行 在你安装的服务器节点上,执行命令:hbase shell,会进入到你的hbase shell客户端; 2.HBase的常用命令 关于表的操作包括(创建create,查看列表list;查看表的详细信息desc,删除表drop,清空表truncate,修改表的定义alter); <a href="https://www.cnblogs.com/wnwn/p/12812961.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12808952.html
HBase-基本架构 - wnwn
1.基本架构图 2.基本组件 2.1 client 包含访问HBase接口,并维护cache来加快对HBase的访问; 2.2 zookeeper (1)保证在任何时候,集群只有一个master; (2)存储所有region的寻址入口; (3)实时监控region server的上线下线活动信息,并
2020-05-11T11:19:00Z
2020-05-11T11:19:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.基本架构图 2.基本组件 2.1 client 包含访问HBase接口,并维护cache来加快对HBase的访问; 2.2 zookeeper (1)保证在任何时候,集群只有一个master; (2)存储所有region的寻址入口; (3)实时监控region server的上线下线活动信息,并 <a href="https://www.cnblogs.com/wnwn/p/12808952.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12808657.html
HBase-物理模型 - wnwn
1.存储实例 (1)每个column Family存储在HDFS上的一个单独的文件中; (2)Key和Version Number在每个Column Family中均有一份; (3)空值不会被保存; (4)HBase为每个值维护了多级索引,即Row Key,Column Family,Column
2020-05-11T11:16:00Z
2020-05-11T11:16:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.存储实例 (1)每个column Family存储在HDFS上的一个单独的文件中; (2)Key和Version Number在每个Column Family中均有一份; (3)空值不会被保存; (4)HBase为每个值维护了多级索引,即Row Key,Column Family,Column <a href="https://www.cnblogs.com/wnwn/p/12808657.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12808562.html
HBase-集群安装 - wnwn
1.下载资源包 2.上传并解压hbase tar -zxvf hbase-1.3.6-bin.tar.gz 3.重命名为hbase mv hbase-1.3.6 hbase 4.下载zookeeper的资源包 5.上传并解压zookeeper tar -zxvf zookeeper-3.4.6.ta
2020-05-11T11:13:00Z
2020-05-11T11:13:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.下载资源包 2.上传并解压hbase tar -zxvf hbase-1.3.6-bin.tar.gz 3.重命名为hbase mv hbase-1.3.6 hbase 4.下载zookeeper的资源包 5.上传并解压zookeeper tar -zxvf zookeeper-3.4.6.ta <a href="https://www.cnblogs.com/wnwn/p/12808562.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12794339.html
HBase-介绍 - wnwn
1.HBase概述 1.1 HBase是一个基于HDFS的面向列的分布式数据库,源于Google的BIGTable论文; 1.2 HBase是Apache Hadoop生态系统中的重要组成部分,主要用于海量结构化数据存储; 1.3 HBase内部管理的文件全部存储在HDFS中; 2.NOSQL简介
2020-05-11T11:11:00Z
2020-05-11T11:11:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.HBase概述 1.1 HBase是一个基于HDFS的面向列的分布式数据库,源于Google的BIGTable论文; 1.2 HBase是Apache Hadoop生态系统中的重要组成部分,主要用于海量结构化数据存储; 1.3 HBase内部管理的文件全部存储在HDFS中; 2.NOSQL简介 <a href="https://www.cnblogs.com/wnwn/p/12794339.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12773183.html
Hive-调优策略 - wnwn
1.Fetch抓取 Fetch抓取是,Hive中对某些情况的查询可以不必使用MapReduce计算;例如像select * from table这种的操作,在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台; 在hive-default.xml.te
2020-04-25T07:17:00Z
2020-04-25T07:17:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.Fetch抓取 Fetch抓取是,Hive中对某些情况的查询可以不必使用MapReduce计算;例如像select * from table这种的操作,在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台; 在hive-default.xml.te <a href="https://www.cnblogs.com/wnwn/p/12773183.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12773011.html
Hive-数据倾斜 - wnwn
1.什么是数据倾斜 由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点;简单来说就是key的分化严重不均,造成一部分数据很多,一部分数据很少的情况; 比如:wordcount,最后的输出阶段形成了('aaa',1)这种格式,然后在reduce阶段进行value的增加操作,最后计算出value
2020-04-25T06:41:00Z
2020-04-25T06:41:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.什么是数据倾斜 由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点;简单来说就是key的分化严重不均,造成一部分数据很多,一部分数据很少的情况; 比如:wordcount,最后的输出阶段形成了('aaa',1)这种格式,然后在reduce阶段进行value的增加操作,最后计算出value <a href="https://www.cnblogs.com/wnwn/p/12773011.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12751326.html
Hive-高级查询 - wnwn
1.视图 和关系型数据库一样,Hive也提供了视图的功能,不过请注意,Hive的视图和关系型数据的视图还是有着很大的区别: (1)只要逻辑视图,没有物理视图; (2)视图只提供查询操作,不能执行LOAD/INSERT/UPDATE/DELETE (3)视图在创建的时候,只是保存了一份元数据,当查询视
2020-04-22T04:51:00Z
2020-04-22T04:51:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.视图 和关系型数据库一样,Hive也提供了视图的功能,不过请注意,Hive的视图和关系型数据的视图还是有着很大的区别: (1)只要逻辑视图,没有物理视图; (2)视图只提供查询操作,不能执行LOAD/INSERT/UPDATE/DELETE (3)视图在创建的时候,只是保存了一份元数据,当查询视 <a href="https://www.cnblogs.com/wnwn/p/12751326.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12750458.html
HiVE-表库操作(三) - wnwn
1.Hive的分区表操作 Hive开发中,在存储数据时,为了更快地查询数据和更好地管理数据,都会对hive表中数据进行分区存储;所谓的分区,在hive表中体现的是多了一个字段;而在底层文件存储系统中,比如HDFS上,分区则是一个文件夹,或者说是一个文件目录,不同的分区,就是数据存放在根目录下的不同子
2020-04-22T02:42:00Z
2020-04-22T02:42:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.Hive的分区表操作 Hive开发中,在存储数据时,为了更快地查询数据和更好地管理数据,都会对hive表中数据进行分区存储;所谓的分区,在hive表中体现的是多了一个字段;而在底层文件存储系统中,比如HDFS上,分区则是一个文件夹,或者说是一个文件目录,不同的分区,就是数据存放在根目录下的不同子 <a href="https://www.cnblogs.com/wnwn/p/12750458.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12747320.html
Hive-表库操作(二) - wnwn
1.Hive表文件的存储格式 通过上述的stored as操作设置表的存储格式 hive文件的存储格式分为以下四种: TEXTFILE,SEQUENCEFILE,RCFILE,ORCFILE 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时直接把数据文件copy到HDFS上不进
2020-04-21T11:42:00Z
2020-04-21T11:42:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.Hive表文件的存储格式 通过上述的stored as操作设置表的存储格式 hive文件的存储格式分为以下四种: TEXTFILE,SEQUENCEFILE,RCFILE,ORCFILE 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时直接把数据文件copy到HDFS上不进 <a href="https://www.cnblogs.com/wnwn/p/12747320.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12744855.html
Hive-表库操作(一) - wnwn
1.Hive的数据库操作 Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间;然而,对于具有很多组和用户的大集群来说,这是非常有用的,因为这样可以避免表命名冲突; 如果用户没有使用use关键字显示指定数据库,那么将会使用默认的数据库default; 1.1 查看数据库 show databa
2020-04-21T07:19:00Z
2020-04-21T07:19:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.Hive的数据库操作 Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间;然而,对于具有很多组和用户的大集群来说,这是非常有用的,因为这样可以避免表命名冲突; 如果用户没有使用use关键字显示指定数据库,那么将会使用默认的数据库default; 1.1 查看数据库 show databa <a href="https://www.cnblogs.com/wnwn/p/12744855.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12743613.html
Linux高级命令 - wnwn
1.grep grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来; 1.1 匹配带有JAVA_HOME的行 grep JAVA_HOME profile 1.2 显示不被pattern匹配的行(-v) grep -v JAVA_HOME profile 1.3 忽
2020-04-21T04:03:00Z
2020-04-21T04:03:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.grep grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来; 1.1 匹配带有JAVA_HOME的行 grep JAVA_HOME profile 1.2 显示不被pattern匹配的行(-v) grep -v JAVA_HOME profile 1.3 忽 <a href="https://www.cnblogs.com/wnwn/p/12743613.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wnwn/p/12737070.html
Hive-数据类型 - wnwn
1.Hive的基本数据类型 由上表可以看出,Hive不支持日期类型,在Hive里日期都是字符串来标识的,而常用的日期格式转化操作则是通过自定义函数进行操作; Hive是用java开发的,Hive里的基本数据类型和java的基本数据类型也是一一对应的,除了String类型;有符号的整数类型:TINYI
2020-04-20T04:47:00Z
2020-04-20T04:47:00Z
wnwn
https://www.cnblogs.com/wnwn/
【摘要】1.Hive的基本数据类型 由上表可以看出,Hive不支持日期类型,在Hive里日期都是字符串来标识的,而常用的日期格式转化操作则是通过自定义函数进行操作; Hive是用java开发的,Hive里的基本数据类型和java的基本数据类型也是一一对应的,除了String类型;有符号的整数类型:TINYI <a href="https://www.cnblogs.com/wnwn/p/12737070.html" target="_blank">阅读全文</a>