| | | |

2017年10月30日

摘要： from hdfs.client import Client client = Client("http://localhost:50070") print client.list('/') hdfs_dir = '/data/hive/warehouse' with client.read(hdf 阅读全文

posted @ 2017-10-30 18:18 kayy 阅读(247) 评论(0) 推荐(0)

python连接spark（pyspark）

摘要： from pyspark import SparkContext from pyspark import SparkConf string_test = 'pyspark_test' conf = SparkConf().setAppName(string_test).setMaster('yarn 阅读全文

posted @ 2017-10-30 17:32 kayy 阅读(4585) 评论(0) 推荐(1)