2018年11月8日
GC错误
摘要： 如果出现GC错误，可设置客户端 set mapreduce.map.java.opts 设置一下 R的GC错误，在顶端设置这个参数 options(java.parameters = "-Xmx1024m") 阅读全文
posted @ 2018-11-08 14:55 Bread_Wang 阅读(265) 评论(0) 推荐(0)
自定义udf添加一列
摘要： //创建得分窗口字典 var dict= new mutable.HashMap[Double, Int]() for (i { val winno:Int = dict(ss11) winno }) map (k -> v) map类型传进来一个k,获取v 如果这个k本身的值，与一个表中的值相等，就可以获得这个map的v ... 阅读全文
posted @ 2018-11-08 14:52 Bread_Wang 阅读(203) 评论(0) 推荐(0)
spark执行命令 监控执行命令
摘要： #!/bin/bash #/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console 2>&1 & #sleep 1 #/usr... 阅读全文
posted @ 2018-11-08 14:48 Bread_Wang 阅读(694) 评论(0) 推荐(0)
R链接hive/oracle/mysql
摘要： Linux：R连接hive用的Rhive 1，重要 1，sudo R CMD javareconf 2，sudo R 3, 1+1 是否为2 3.1，>install.packages("rJava") >install.packages("Rserve") >install.packages("RUnit") 4，sudo R CM... 阅读全文
posted @ 2018-11-08 14:37 Bread_Wang 阅读(461) 评论(0) 推荐(0)
docker 操作命令
摘要： sudo docker images 查看所有原有docker sudo docker ps 查看已启动的docker sudo docker start 3003 （stop , docker ps - a (all)） sudo docker run -it -d --name 3003 tom 阅读全文
posted @ 2018-11-08 14:33 Bread_Wang 阅读(133) 评论(0) 推荐(0)