瞌睡中的葡萄虎

博客园 首页 新随笔 联系 订阅 管理

2014年9月13日 #

SparkSQL使用之如何使用UDF
摘要： 使用java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/hadoop/lib下，代码如下：package com.luogankun.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class HelloU... 阅读全文
posted @ 2014-09-13 18:42 瞌睡中的葡萄虎 阅读(7040) 评论(0) 推荐(0)

SparkSQL使用之JDBC代码访问Thrift JDBC Server
摘要： 启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段：package com.luogankun.spark.sqlimport java.sql.DriverManageri... 阅读全文
posted @ 2014-09-13 18:07 瞌睡中的葡萄虎 阅读(1231) 评论(0) 推荐(0)

SparkSQL使用之Thrift JDBC server
摘要： Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th... 阅读全文
posted @ 2014-09-13 17:00 瞌睡中的葡萄虎 阅读(11795) 评论(0) 推荐(0)

SparkSQL使用之Spark SQL CLI
摘要： Spark SQL CLI描述Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便；当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。使用Spark SQL CLI前需要注意：1、将hive-si... 阅读全文
posted @ 2014-09-13 16:41 瞌睡中的葡萄虎 阅读(11212) 评论(0) 推荐(1)