随笔档案「2018年9月」 - hailuo

python 获取子目录下的所有文件的路径

摘要：import os pathss=[] for root, dirs, files in os.walk(tarpath): path = [os.path.join(root, name) for name in files] #print(path) pathss.extend(path) 阅读全文

posted @ 2018-09-21 14:29 hailuo 阅读(3169) 评论(1) 推荐(0)

spark ALS 推荐算法参数说明

摘要：阅读全文

posted @ 2018-09-14 11:28 hailuo 阅读(1179) 评论(0) 推荐(0)

scala 列表的子集判断

摘要：val list1=List.range(0,5) val list2=List.range(0,2) val list3=List(0,6) list1.contains(2) list1.containsSlice(list2) list1.containsSlice(list3) 阅读全文

posted @ 2018-09-14 10:02 hailuo 阅读(1399) 评论(0) 推荐(0)

scala 中格式化字符常用的格式符

摘要：val name="Fred" val age=20 val weight=150.00 val dd="%s's age is %d,weighs %.2f".format(name,age,weight) 阅读全文

posted @ 2018-09-10 12:56 hailuo 阅读(2116) 评论(0) 推荐(0)

pyspark SparkSession及dataframe基本操作

摘要：from pyspark import SparkContext, SparkConf import os from pyspark.sql.session import SparkSession from pyspark.sql import Row def CreateSparkContex(): sparkconf = SparkConf().setAppName("MYPRO").s... 阅读全文

posted @ 2018-09-07 11:09 hailuo 阅读(7691) 评论(0) 推荐(0)

pyspark 读写csv、json文件

摘要：from pyspark import SparkContext,SparkConf import os from pyspark.sql.session import SparkSession def CreateSparkContex(): sparkconf=SparkConf().setAppName("MYPRO").set("spark.ui.showConsoleProgres... 阅读全文

posted @ 2018-09-05 13:40 hailuo 阅读(9448) 评论(0) 推荐(0)