摘要： df.to_excel(outpath,float_format='%.2f') 阅读全文

摘要： import os pathss=[] for root, dirs, files in os.walk(tarpath): path = [os.path.join(root, name) for name in files] #print(path) pathss.extend(path) 阅读全文

摘要： 阅读全文

摘要： val list1=List.range(0,5) val list2=List.range(0,2) val list3=List(0,6) list1.contains(2) list1.containsSlice(list2) list1.containsSlice(list3) 阅读全文

摘要： val name="Fred" val age=20 val weight=150.00 val dd="%s's age is %d,weighs %.2f".format(name,age,weight) 阅读全文

摘要： from pyspark import SparkContext, SparkConf import os from pyspark.sql.session import SparkSession from pyspark.sql import Row def CreateSparkContex(): sparkconf = SparkConf().setAppName("MYPRO").s... 阅读全文

摘要： from pyspark import SparkContext,SparkConf import os from pyspark.sql.session import SparkSession def CreateSparkContex(): sparkconf=SparkConf().setAppName("MYPRO").set("spark.ui.showConsoleProgres... 阅读全文

摘要： 以上说明出自林大贵老师关于Hadoop、spark书籍，如有兴趣请自行搜索购买！ 这是我的GitHub分享的一些笔记：https://github.com/mahailuo/pyspark_notes 阅读全文

摘要： 阅读全文

摘要： hadoop fs -cat hadoop fs -cat |more #more参数可是分页显示文件内容 echo abcd | hadoop fs -put - #将打印到屏幕的内容保存到hdfs hadoop fs -cat ls | hadoop fs -put #将本地目录下的文件名保存到hdfs文件中 hadoop fs -copyToLocal #复制... 阅读全文