03 2017 档案

Caused by: MetaException(message:Hive Schema version 2.1.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt)
摘要：解决方案汇总： 错误及操作详情： 1 启动hive报错 # hive which: no hbase in (/usr/lib64/qt-3.3/bin:/usr/local/sbin:/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/b 阅读全文
posted @ 2017-03-24 10:53 天天好心情啊 阅读(3759) 评论(1) 推荐(0)
Scala_Load csv data to hive via spark2.1_via pass parameters_HiveAllType
摘要：prepare CSV data create CSV file scala test code spark test 阅读全文
posted @ 2017-03-17 18:30 天天好心情啊 阅读(381) 评论(0) 推荐(0)
Scala_Load csv data to hive via spark2.1_via pass parameters
摘要：prepare csv: scala code: spark submit: 阅读全文
posted @ 2017-03-17 16:25 天天好心情啊 阅读(394) 评论(0) 推荐(0)
Scala_Load csv data to hive via spark2.1
摘要：code: spark submit: 阅读全文
posted @ 2017-03-17 16:18 天天好心情啊 阅读(381) 评论(0) 推荐(0)
Hadoop_配置Hadoop开发环境（Eclipse）
摘要：通常我们可以用Eclipse作为Hadoop程序的开发平台。 1） 下载Eclipse 下载地址：http://www.eclipse.org/downloads/ 根据操作系统类型，选择合适的版本下载并安装。 2） 下载并编译Hadoop的Eclipse插件 网上可直接下载到Hadoop 1.x 阅读全文
posted @ 2017-03-15 18:24 天天好心情啊 阅读(283) 评论(0) 推荐(0)
spark_运行spark-shell报错_javax.jdo.JDOFatalDataStoreException: Unable to open a test connection to the given database.
摘要：error: Caused by: javax.jdo.JDOFatalDataStoreException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://sd-9c1f-2eac:3 阅读全文
posted @ 2017-03-15 11:33 天天好心情啊 阅读(5455) 评论(0) 推荐(0)
spark_load csv to hive via hivecontext
摘要：//prepare csv //Processing and inserting data in hive without schema //permission issues as user hive // org.apache.hadoop.hive.ql.metadata.HiveExcept 阅读全文
posted @ 2017-03-15 11:18 天天好心情啊 阅读(947) 评论(0) 推荐(0)
spark_spark连接hive config
摘要：1 环境 hadoop2.7.3 apache-hive-2.1.1-bin spark-2.1.0-bin-hadoop2.6 jdk1.8 2 配置文件 在hive-site.xml中配置mysql数据库连接。 cp apache-hive-2.1.1-bin/conf/hive-site.xm 阅读全文
posted @ 2017-03-14 17:52 天天好心情啊 阅读(826) 评论(0) 推荐(0)
Hive_hdfs csv导入hive demo
摘要：1 create csv file.student.csv 2 put it to hdfs. 3 create table in hive. 4 load hdfs file to hive. 5 verify. 阅读全文
posted @ 2017-03-07 16:52 天天好心情啊 阅读(2849) 评论(0) 推荐(0)
Maven_setting.xml
摘要：C:\pl62716\LibRepostity true --> false --> com.your.plugins --> optional true http webproxy.ssmb.com ... 阅读全文
posted @ 2017-03-03 13:55 天天好心情啊 阅读(237) 评论(0) 推荐(0)
scala 基础
摘要：// ::链接字符串 链接字符和list // :::链接两个list Any公共父类 //head 返回第一个元素 //tail 除第一个元素以外的其他元素组成的列表-〉伪列表 //isEmpty //filter应用 //toList //isDigit //takeWhile //toUppe 阅读全文
posted @ 2017-03-01 15:55 天天好心情啊 阅读(397) 评论(0) 推荐(0)