| | | |

2018年3月1日

摘要： metering_processes.py # -*- coding: utf-8 -*- import osimport timeimport ConfigParser s1 = 'nohup 's2 = ' > 's3 = ' 2>&1 &' def fun(s): r = os.popen(' 阅读全文

posted @ 2018-03-01 10:34 kayy 阅读(124) 评论(0) 推荐(0)

2017年12月4日

pagerank（textrank）

摘要： from numpy import *import jiebaimport copy with open('content', 'r', encoding = 'utf-8') as f: content = f.read() with open('stopwords', 'r', encoding 阅读全文

posted @ 2017-12-04 13:47 kayy 阅读(300) 评论(0) 推荐(0)

2017年11月23日

tensorflow：优化器（Optimizer）

摘要： 1、class tf.train.Optimizer 优化器（optimizers）类的基类。 2、class tf.train.GradientDescentOptimizer 这个类是实现梯度下降算法的优化器。 GradientDescentOptimizer(learning_rate, us 阅读全文

posted @ 2017-11-23 16:08 kayy 阅读(532) 评论(0) 推荐(0)

2017年10月30日

python连接hdfs

摘要： from hdfs.client import Client client = Client("http://localhost:50070") print client.list('/') hdfs_dir = '/data/hive/warehouse' with client.read(hdf 阅读全文

posted @ 2017-10-30 18:18 kayy 阅读(247) 评论(0) 推荐(0)

python连接spark（pyspark）

摘要： from pyspark import SparkContext from pyspark import SparkConf string_test = 'pyspark_test' conf = SparkConf().setAppName(string_test).setMaster('yarn 阅读全文

posted @ 2017-10-30 17:32 kayy 阅读(4585) 评论(0) 推荐(1)

2017年6月19日

hive调用python

摘要： python： # -*- coding: utf-8 -*- import sys for line in sys.stdin: values = line.split('\t') value = [i.strip() for i in values] print '\t'.join([value 阅读全文

posted @ 2017-06-19 14:53 kayy 阅读(276) 评论(0) 推荐(0)