瞌睡中的葡萄虎

Sqoop2常用命令介绍

摘要：命令行操作之Create Command1、Create Connection Functioncreate connection --cid 1 说明：Create new connection object for connector with id sqoop:000> create conn... 阅读全文

posted @ 2015-01-08 12:13 瞌睡中的葡萄虎阅读(3538) 评论(0) 推荐(0)

Sqoop2入门之导入关系型数据库数据到HDFS上

摘要：需求：将hive数据库中的TBLS表导出到HDFS之上； $SQOOP2_HOME/bin/sqoop.sh client sqoop:000> set server --host hadoop000 --port 12000 --webapp sqoopServer is set successf... 阅读全文

posted @ 2015-01-07 17:57 瞌睡中的葡萄虎阅读(2142) 评论(0) 推荐(0)

Sqoop2环境搭建

摘要：正在准备做Spark SQL external data source与关系型数据库交互的部分，参考下Sqoop2是如何操作关系型数据库的。下载地址：http://archive.cloudera.com/cdh5/cdh/5/下载并安装：cd /home/spark/app/wget http:/... 阅读全文

posted @ 2015-01-07 17:51 瞌睡中的葡萄虎阅读(2398) 评论(0) 推荐(0)

Spark On Yarn中spark.yarn.jar属性的使用

摘要：今天在测试spark-sql运行在yarn上的过程中，无意间从日志中发现了一个问题：spark-sql --master yarn14/12/29 15:23:17 INFO Client: Requesting a new application from cluster with 1 NodeM... 阅读全文

posted @ 2014-12-29 15:41 瞌睡中的葡萄虎阅读(12886) 评论(1) 推荐(0)

Spark ThriftServer使用的大坑

摘要：当用beeline连接default后，通过use xxx切换到其他数据库，再退出，再次使用beeline -u jdbc:hive2://hadoop000:10000/default -n spark连接到default，此时后台连接的其实还是xxx测试步骤:1、beeline -u jdbc:... 阅读全文

posted @ 2014-12-25 17:07 瞌睡中的葡萄虎阅读(3800) 评论(0) 推荐(0)

SparkSQL External Datasource简易使用之CSV

摘要：下载源码&编译：git clone https://github.com/databricks/spark-csv.gitsbt/sbt assemblyMaven GAV：groupId: com.databricks.sparkartifactId: spark-csv_2.10version:... 阅读全文

posted @ 2014-12-24 10:40 瞌睡中的葡萄虎阅读(2010) 评论(0) 推荐(0)

SparkSQL External Datasource简易使用之AVRO

摘要：下载源码&编译：git clone https://github.com/databricks/spark-avro.gitsbt/sbt packageMaven GAV：groupId: com.databricks.sparkartifactId: spark-avro_2.10version... 阅读全文

posted @ 2014-12-24 10:38 瞌睡中的葡萄虎阅读(616) 评论(0) 推荐(0)

spark1.2.0版本SparkSQL使用parquet类型注意事项

摘要：在Spark1.2.0版本中是用parquet存储类型时注意事项：sql语句：select * from order_created_dynamic_partition_parquet;在spark-sql中执行结果：2014-05 [B@4621484a [B@3311163e2014-0... 阅读全文

posted @ 2014-12-23 17:37 瞌睡中的葡萄虎阅读(1220) 评论(0) 推荐(0)

spark-sql启动后在监控页面中显示的Application Name为SparkSQL::xxxx的疑问

摘要：启动spark-sql执行sql时，在监控页面中看到该Application的Name是SparkSQL:hadoop000(其中hadoop000是测试机器的hostname)，就有个想法，修改下该application的name，在spark-sql --help中看到--name NAME的参... 阅读全文

posted @ 2014-12-01 14:35 瞌睡中的葡萄虎阅读(1119) 评论(0) 推荐(0)

FileSystem实例化过程

摘要： HDFS案例代码Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration); ... 阅读全文

posted @ 2014-11-29 18:09 瞌睡中的葡萄虎阅读(4350) 评论(0) 推荐(0)

瞌睡中的葡萄虎

公告