摘要：
下载 wget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 解压 tar -zxf sqoop-1.99.7-bin-hadoop200.tar.gz 将mysql-connecto 阅读全文
posted @ 2018-05-29 10:51 打杂滴 阅读(480) 评论(0) 推荐(0)
2018年5月29日
摘要：
Sqoop是一款开源的工具，主要用于在Hadoop和传统的数据库(mysql、postgresql等)进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点 阅读全文
posted @ 2018-05-29 10:21 打杂滴 阅读(427) 评论(0) 推荐(0)
2018年5月28日
摘要：
查看现有link sqoop:000> show link+ + + +| Name | Connector Name | Enabled |+ + + +| mysqllink | generic-jdbc-connector | true || mysql2 | generic-jdbc-con 阅读全文
posted @ 2018-05-28 14:14 打杂滴 阅读(533) 评论(0) 推荐(0)
2018年5月25日
摘要：
1.下载 wget http://mirror.bit.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 2.解压 tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /root/sqo 阅读全文
posted @ 2018-05-25 10:05 打杂滴 阅读(289) 评论(0) 推荐(0)
2018年5月22日
摘要：
在HBase中，namespace命名空间指对一组表的逻辑分组，类似于数据库，便于对表在业务上划分 HBase系统默认定义了两个缺省的namespace hbase：系统内建表，包括namespace和meta表 default：用户建表时未指定namespace的表都创建在此 hbase：系统内建 阅读全文
posted @ 2018-05-22 17:43 打杂滴 阅读(1368) 评论(0) 推荐(0)
摘要：
给用户分配对每个表的操作权限，有RWXCA五种，对应READ, WRITE, EXEC, CREATE, ADMIN hbase(main):222:0> help "grant" Grant users specific rights. Syntax: grant <user or @group> 阅读全文
posted @ 2018-05-22 17:30 打杂滴 阅读(4715) 评论(0) 推荐(0)
摘要：
HBase包含可以与HBase进行通信的Shell。 HBase使用Hadoop文件系统来存储数据。它拥有一个主服务器和区域服务器。数据存储将在区域(表)的形式。这些区域被分割并存储在区域服务器。 主服务器管理这些区域服务器，所有这些任务发生在HDFS。 通用命令 status: 提供HBase的状 阅读全文
posted @ 2018-05-22 15:09 打杂滴 阅读(215) 评论(0) 推荐(0)
摘要：
TTL(Time To Live)生存期 hbase表默认保存一个版本的数据 hbase(main):123:0> create 't_name','st1'Created table t_nameTook 1.3807 seconds => Hbase::Table - t_namehbase(m 阅读全文
posted @ 2018-05-22 15:07 打杂滴 阅读(771) 评论(0) 推荐(0)
2018年5月21日
摘要：
在2.0版本之前，使用Spark必须先创建SparkConf和SparkContext catalog：目录 Spark2.0中引入了SparkSession的概念，SparkConf、SparkContext 和 SQLContext 都已经被封装在 SparkSession 当中，并且可以通过 阅读全文
posted @ 2018-05-21 10:12 打杂滴 阅读(402) 评论(0) 推荐(0)
2018年5月17日
摘要：
Hive整合HBase后的好处： 通过Hive把数据加载到HBase中，数据源可以是文件也可以是Hive中的表。 通过整合，让HBase支持JOIN、GROUP等SQL查询语法。 通过整合，不仅可完成HBase的数据实时查询，也可以使用Hive查询HBase中的数据完成复杂的数据分析。 使用Hive 阅读全文
posted @ 2018-05-17 16:59 打杂滴 阅读(198) 评论(0) 推荐(0)
浙公网安备 33010602011771号