摘要: sudo vim .bash_profileadd : export PATH=/usr/local/bin:$PATHsave : source .bash_profile to make change work。 /usr/bin/ruby -e "$(curl -fsSL https://ra 阅读全文
posted @ 2017-11-23 21:49 天天好心情啊 阅读(9702) 评论(0) 推荐(0) 编辑
摘要: 下载 :restclient.jar 启动命令 : java -jar restclient.jar 界面如图所示: 阅读全文
posted @ 2017-07-27 16:40 天天好心情啊 阅读(1288) 评论(2) 推荐(0) 编辑
摘要: 在Linux文件系统中,我们可以使用下面的Shell脚本判断某个文件是否存在:# 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; thenecho "文件不存在!"fi但是我们想判断HDFS上某个文件是否存在咋办呢?别急,Hadoop内置提供了判断某个文件是否存在的命 阅读全文
posted @ 2017-07-17 11:11 天天好心情啊 阅读(1349) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bash #sourceFolder = /home/bigdatagfts/pl62716/refdata #targetFolder = /home/bigdatagfts/pl62716/refdata_target sourceFolder=$1 targetFolder=$2 if [ $# != 2 ] ; then echo "USAGE: $0 s... 阅读全文
posted @ 2017-06-19 16:54 天天好心情啊 阅读(252) 评论(0) 推荐(0) 编辑
摘要: <property name="net.sf.jasperreports.export.xls.sheet.tab.color" value="#00FF00"/> 阅读全文
posted @ 2017-06-09 14:57 天天好心情啊 阅读(201) 评论(0) 推荐(0) 编辑
摘要: hive-site.xml # vi hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://sd-9c1f-2eac:3306/hive?cre 阅读全文
posted @ 2017-05-05 17:21 天天好心情啊 阅读(1049) 评论(0) 推荐(0) 编辑
摘要: [Dev root @ sd-9c1f-2eac /usr/local/src/apache-hive-2.1.1-bin/scripts/metastore/upgrade/mysql]# ls001-HIVE-972.mysql.sql 027-HIVE-12819.mysql.sql hive 阅读全文
posted @ 2017-05-05 14:29 天天好心情啊 阅读(1920) 评论(0) 推荐(0) 编辑
摘要: # cd $HIVE_HOME/scripts/metastore/upgrade/mysql [Dev root @ sd-9c1f-2eac /usr/local/src/apache-hive-2.1.1-bin/scripts/metastore/upgrade/mysql]# ls001- 阅读全文
posted @ 2017-05-05 11:51 天天好心情啊 阅读(1439) 评论(0) 推荐(0) 编辑
摘要: 以下异常说明mysql已经启动。 应先关掉先前启动的mysql.再执行初始化schema操作。 $service mysql stop; # $HIVE_HOME/bin/schematool -dbType mysql -initSchemawhich: no hbase in (/usr/lib 阅读全文
posted @ 2017-05-03 16:47 天天好心情啊 阅读(11478) 评论(0) 推荐(1) 编辑
摘要: 解决方案汇总: 错误及操作详情: 1 启动hive报错 # hive which: no hbase in (/usr/lib64/qt-3.3/bin:/usr/local/sbin:/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/b 阅读全文
posted @ 2017-03-24 10:53 天天好心情啊 阅读(3710) 评论(1) 推荐(0) 编辑
摘要: prepare CSV data create CSV file scala test code spark test 阅读全文
posted @ 2017-03-17 18:30 天天好心情啊 阅读(363) 评论(0) 推荐(0) 编辑
摘要: prepare csv: scala code: spark submit: 阅读全文
posted @ 2017-03-17 16:25 天天好心情啊 阅读(371) 评论(0) 推荐(0) 编辑
摘要: code: spark submit: 阅读全文
posted @ 2017-03-17 16:18 天天好心情啊 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 通常我们可以用Eclipse作为Hadoop程序的开发平台。 1) 下载Eclipse 下载地址:http://www.eclipse.org/downloads/ 根据操作系统类型,选择合适的版本下载并安装。 2) 下载并编译Hadoop的Eclipse插件 网上可直接下载到Hadoop 1.x 阅读全文
posted @ 2017-03-15 18:24 天天好心情啊 阅读(260) 评论(0) 推荐(0) 编辑
摘要: error: Caused by: javax.jdo.JDOFatalDataStoreException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://sd-9c1f-2eac:3 阅读全文
posted @ 2017-03-15 11:33 天天好心情啊 阅读(5370) 评论(0) 推荐(0) 编辑
摘要: //prepare csv //Processing and inserting data in hive without schema //permission issues as user hive // org.apache.hadoop.hive.ql.metadata.HiveExcept 阅读全文
posted @ 2017-03-15 11:18 天天好心情啊 阅读(927) 评论(0) 推荐(0) 编辑
摘要: 1 环境 hadoop2.7.3 apache-hive-2.1.1-bin spark-2.1.0-bin-hadoop2.6 jdk1.8 2 配置文件 在hive-site.xml中配置mysql数据库连接。 cp apache-hive-2.1.1-bin/conf/hive-site.xm 阅读全文
posted @ 2017-03-14 17:52 天天好心情啊 阅读(814) 评论(0) 推荐(0) 编辑
摘要: 1 create csv file.student.csv 2 put it to hdfs. 3 create table in hive. 4 load hdfs file to hive. 5 verify. 阅读全文
posted @ 2017-03-07 16:52 天天好心情啊 阅读(2823) 评论(0) 推荐(0) 编辑
摘要: C:\pl62716\LibRepostity true --> false --> com.your.plugins --> optional true http webproxy.ssmb.com ... 阅读全文
posted @ 2017-03-03 13:55 天天好心情啊 阅读(227) 评论(0) 推荐(0) 编辑
摘要: // ::链接字符串 链接字符和list // :::链接两个list Any公共父类 //head 返回第一个元素 //tail 除第一个元素以外的其他元素组成的列表-〉伪列表 //isEmpty //filter应用 //toList //isDigit //takeWhile //toUppe 阅读全文
posted @ 2017-03-01 15:55 天天好心情啊 阅读(380) 评论(0) 推荐(0) 编辑