2018年11月14日
SparkStreaming任务保持运行，定时任务监控进程，保证不挂掉
摘要： cron任务：每隔1分钟启动脚本，检查进程是否运行。crontab -e 检查进程，如果进程挂掉，重新启动Spark任务：给sh脚本添加权限，chmod 777 xx.sh 阅读全文
posted @ 2018-11-14 12:13 Bread_Wang 阅读(2328) 评论(0) 推荐(0)
nohup和&后台运行，进程查看及终止 详解
摘要： nohup 和重定向 功能一样，可用于定时启动 1.nohup 用途：不挂断地运行命令。 语法：nohup Command [ Arg … ] [　& ] 无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件 阅读全文
posted @ 2018-11-14 12:02 Bread_Wang 阅读(358) 评论(0) 推荐(0)
2018年11月13日
Linux 定时任务
摘要： https://www.cnblogs.com/mingforyou/p/3930636.html 阅读全文
posted @ 2018-11-13 15:37 Bread_Wang 阅读(133) 评论(0) 推荐(0)
技巧
摘要： 1,ArryBuffer生成表sql 2,执行sh脚本 后台运行 sh t.sh & 3，定时任务： 1，本方法，在脚本tt.sh中while死循环 执行 2，crontab -e 阅读全文
posted @ 2018-11-13 15:22 Bread_Wang 阅读(278) 评论(0) 推荐(0)
后台运行spark-submit命令的方法
摘要： nohip spark-submit testSpark.jar > ~/testLog.out & 2，第二种方法 ，linux 重定向 1>&2 2>&1 （可用于多方面） 重定向输出2，重定向输出1 （推荐） 1 2 spark-submit testSpark.jar >> testLog. 阅读全文
posted @ 2018-11-13 14:13 Bread_Wang 阅读(4869) 评论(0) 推荐(0)
监控文件生成数据存入数据库
摘要： 操作一份实时监控文件流程，用到多个组件，缺点，如果当掉，监控的文件夹下进来文件，再启动不能执行，优化：可再写个脚本来把监控的文件夹下的文件移出，再放入， 代码开始： import java.io.File import cold_test.monitorutil.FileListener import cold_test.tools.NowDate import org.apache.co... 阅读全文
posted @ 2018-11-13 13:42 Bread_Wang 阅读(572) 评论(0) 推荐(0)
2018年11月8日
GC错误
摘要： 如果出现GC错误，可设置客户端 set mapreduce.map.java.opts 设置一下 R的GC错误，在顶端设置这个参数 options(java.parameters = "-Xmx1024m") 阅读全文
posted @ 2018-11-08 14:55 Bread_Wang 阅读(265) 评论(0) 推荐(0)
自定义udf添加一列
摘要： //创建得分窗口字典 var dict= new mutable.HashMap[Double, Int]() for (i { val winno:Int = dict(ss11) winno }) map (k -> v) map类型传进来一个k,获取v 如果这个k本身的值，与一个表中的值相等，就可以获得这个map的v ... 阅读全文
posted @ 2018-11-08 14:52 Bread_Wang 阅读(203) 评论(0) 推荐(0)
spark执行命令 监控执行命令
摘要： #!/bin/bash #/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console 2>&1 & #sleep 1 #/usr... 阅读全文
posted @ 2018-11-08 14:48 Bread_Wang 阅读(694) 评论(0) 推荐(0)
R链接hive/oracle/mysql
摘要： Linux：R连接hive用的Rhive 1，重要 1，sudo R CMD javareconf 2，sudo R 3, 1+1 是否为2 3.1，>install.packages("rJava") >install.packages("Rserve") >install.packages("RUnit") 4，sudo R CM... 阅读全文
posted @ 2018-11-08 14:37 Bread_Wang 阅读(461) 评论(0) 推荐(0)