摘要：0.前言 使用spark计算时，将获得的数据导入到数据库中时，如果数据量很大，当collect的时候就会出现OOM的问题 借鉴网址：Spark: Best practice for retrieving big data from RDD to local machine 1.参考 Here is 阅读全文

摘要：1.语法 * 代表取值范围内的数字 / 代表"每" - 代表从某个数字到某个数字 , 代表离散的取值(取值的列表) 2.配置 使用命令 crontab -e 然后直接编辑定时脚本。这样执行以后，属于用户自定义的 3.注意 （系统级的）做系统级配置我们会直接配置 /etc/crontab （用户级的） 阅读全文

摘要：0.目录结构 1.文件的准备 2.启动脚本参数配置：若要读取本地文件，其他节点是没有，那么需要将master设置为local 3.转换上传代码 阅读全文