摘要： 今日学习了spark的数据清洗ui #数据去重df.dropDuplicates().show()#带参数去重df.dropDuplicates(['age','job']).show()#去除空值df.dropna().show()#最少满足三个有效列df.dropna(thresh=3).sho 阅读全文