摘要：pandas的dataframe转spark的dataframe spark的dataframe转pandas的dataframe 由于 的方式是单机版的，即 的方式是单机版的，所以参考 "breeze_lsw" 改成分布式版本： 阅读全文

摘要：需要将代码转换为 使其显示好看一些，可以在这里进行装换： "https://tohtml.com/" "http://hilite.me/" 阅读全文

摘要：需要调用命令行来执行某些命令，主要是用 实时获取结果和捕获错误，发现subprocess的很多坑。 普通获取结果方式，其需要命令完全执行才能返回结果： 客 实时获取结果： 想要获取报错机制，使用 "check_output" 捕捉报错和使用 "check_call" 捕捉报错，及时在 "Popen" 阅读全文