2020年4月20日
greenplum 6.7编译安装插件pxf
摘要： go get github.com/golang/dep/cmd/depgo get github.com/onsi/ginkgo/ginkgo cd /opttar zxvf pxf.5.11.2.tar.gzcd pxf-5.11.2 # Compile & Test PXFmake # Sim 阅读全文
posted @ 2020-04-20 22:16 舟山渔夫 阅读(2247) 评论(0) 推荐(0)
greenplum 6.7编译安装插件mysql_fdw
摘要： wget https://codeload.github.com/gaos1/mysql_fdw/zip/mastermv master mysql_fdw-master.zipunzip mysql_fdw-master.zipcd /opt/gpdb-6.7.0/contrib/mv /opt/ 阅读全文
posted @ 2020-04-20 22:13 舟山渔夫 阅读(699) 评论(1) 推荐(0)
2020年3月28日
python3 + greenplum-spark-connector访问greenplum
摘要： 我今天下载了greenplum-spark-connector官方介绍用的是java调用访问(https://greenplum.cn/2020/03/27/greenplum-spark-connector/)， 我用python试了一下也是可以的： import osfrom pyspark.s 阅读全文
posted @ 2020-03-28 14:27 舟山渔夫 阅读(1155) 评论(0) 推荐(0)
2020年3月15日
centos7无cm安装hadoop+spark
摘要： 配置内核参数后重启生效# echo 'vm.swappiness=10'>> /etc/sysctl.conf 安装JDK8# rpm -ivh jdk-8u211-linux-x64.rpm # vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_ 阅读全文
posted @ 2020-03-15 21:17 舟山渔夫 阅读(378) 评论(0) 推荐(0)
2020年3月5日
hive实现update和delete功能
摘要： 如果一个表要实现update和delete功能，该表就必须支持ACID，而支持ACID，就必须满足以下条件：1、表的存储格式必须是ORC（STORED AS ORC）；2、表必须进行分桶（CLUSTERED BY (col_name, col_name, ...) INTO num_buckets 阅读全文
posted @ 2020-03-05 21:54 舟山渔夫 阅读(5678) 评论(0) 推荐(0)
2020年3月4日
使得hivecli访问hive
摘要： [root@node1 ~]# sudo -u hdfs hdfs dfs -ls /Found 3 itemsdrwxr-xr-x - hbase hbase 0 2020-03-01 13:27 /hbasedrwxrwxrwt - hdfs supergroup 0 2020-02-29 19 阅读全文
posted @ 2020-03-04 21:35 舟山渔夫 阅读(630) 评论(0) 推荐(0)
使用beeline 访问hive
摘要： # sudo -u hdfs beeline -u jdbc:hive2://localhost:10000/default -n hdfs0: jdbc:hive2://>!help0: jdbc:hive2://>!quit0: jdbc:hive2://> show databases;0: 阅读全文
posted @ 2020-03-04 21:33 舟山渔夫 阅读(570) 评论(0) 推荐(0)
python3+pyhive访问hive
摘要： pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simpleyum install gcc-c++yum install gcc libffi-devel python-devel openssl-devel -yyum 阅读全文
posted @ 2020-03-04 21:31 舟山渔夫 阅读(1042) 评论(0) 推荐(0)
2020年3月3日
pyhon3+jaydebeapi3访问phoenix
摘要： import jaydebeapiimport pandas as pdimport pandas.io.sql as psqldriver = 'org.apache.phoenix.jdbc.PhoenixDriver'url = 'jdbc:phoenix:node1:2181:default 阅读全文
posted @ 2020-03-03 21:04 舟山渔夫 阅读(592) 评论(0) 推荐(0)
python3+jaydebeapi3访问MySQL7
摘要： import jaydebeapidriver='com.mysql.jdbc.Driver'jarFile=r'C:\Users\ccxpt\.PyCharm2019.2\config\jdbc-drivers\MySQL Connector\J 8\8.0.15\mysql-connector- 阅读全文
posted @ 2020-03-03 21:02 舟山渔夫 阅读(721) 评论(0) 推荐(0)