上一页 1 2 3 4 5 6 7 8 9 ··· 11 下一页

2017年8月30日

2.hbase原理(未完待续)

摘要: hbase简介相关概念hmsterhregionserver表regionhstorememstorestorefilehfileblockcacheWALminorcompactmajorcompactregion splithbase架构zookeepermasterregionserverhbase的表表结构表的读写hbase的元数据表-ROOT-hbase:metahbase:meta表结... 阅读全文

posted @ 2017-08-30 23:22 月饼馅饺子 阅读(356) 评论(0) 推荐(0)

从hive导入到oracle(Hcatalog)

摘要: 1.使用catalog的情况下:sqoop export --table tableName2 \ #oracle表--connect jdbc:oracle:thin:@127.0.0.1:1521:ORCL \ --username username \ #oracle用户--password password \ #密码--hcatalog-database DB1 \ #cata... 阅读全文

posted @ 2017-08-30 23:21 月饼馅饺子 阅读(4388) 评论(0) 推荐(0)

1.安装hbase

摘要: 参考:http://hbase.apache.org/book.html#quickstart一.下载hbase去apache下载hbase,然后解压到/usr/local/hbase-1.1.3,设置HBASE_HOME=/usr/local/hbase-1.1.3二.安装单机版本修改conf/hbase-site.xml加入: hbase.rootdir file:///hom... 阅读全文

posted @ 2017-08-30 23:21 月饼馅饺子 阅读(194) 评论(0) 推荐(0)

从oracle导入hive

摘要: sqoop import --connect jdbc:oracle:thin:@10.39.1.43:1521/rcrm --username bi_query --password ####################### --query " \select \item_id,\edit_id,\tenant_id,\create_date,\model_id,\parent_id,\c... 阅读全文

posted @ 2017-08-30 23:20 月饼馅饺子 阅读(700) 评论(0) 推荐(0)

sqoop-1.4.6安装与使用

摘要: 一、安装1.下载sqoop-1.4.6-bin.tar.gz并解压2.修改conf/sqoop-env.sh,设置如下变量:export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.3export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.3export HBASE_HOME=/usr/local/hbase-1.1.3... 阅读全文

posted @ 2017-08-30 23:19 月饼馅饺子 阅读(457) 评论(0) 推荐(0)

安装sqoop 1.99.4

摘要: 参考http://sqoop.apache.org/docs/1.99.4/Installation.html1.简介sqoop2分为server和client两部分。server作为maprde的客户端,必须安装在hadoop集群上。client无需安装在hadoop集群上,任何机器均可。2.安装server server必须安装在hadoop结点上,namenode和datanode均可... 阅读全文

posted @ 2017-08-30 23:12 月饼馅饺子 阅读(473) 评论(0) 推荐(0)

安装HIVE

摘要: 参考:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 1.下载hive安装包 到apache官网或者其它地方下载hive压缩包,然后解压到/usr/local/hive-2.0.02.依赖 hive依赖以下内容:1)java 1.7或者更高版本2)hadoop2.x,hadoop1.x(只支持hive1)3... 阅读全文

posted @ 2017-08-30 23:11 月饼馅饺子 阅读(138) 评论(0) 推荐(0)

hive创建外部表

摘要: Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED... 阅读全文

posted @ 2017-08-30 23:10 月饼馅饺子 阅读(649) 评论(0) 推荐(0)

分区表

摘要: create table IF NOT EXISTS p (//创建分区表id int,dt string,other string) PARTITIONED BY(year string)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;hive> desc p; //查看表结构OKid int ... 阅读全文

posted @ 2017-08-30 23:10 月饼馅饺子 阅读(1266) 评论(0) 推荐(0)

hadoop参数(未完).md

摘要: 我X,有违禁词.麻烦提醒一下哪个词好吗? 阅读全文

posted @ 2017-08-30 23:08 月饼馅饺子 阅读(118) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 7 8 9 ··· 11 下一页

导航