2015年10月15日
摘要:
def baseLine(sc: SparkContext): Unit = { println("--------------------baseLine start--------------------") var data1Rdd = sc.textFile("/test/bas...
阅读全文
posted @ 2015-10-15 17:45
简单明了
阅读(480)
推荐(0)
2015年9月29日
posted @ 2015-09-29 11:06
简单明了
阅读(207)
推荐(0)
2015年8月27日
摘要:
最近在项目中使用LogStash做日志的采集和过滤,感觉LogStash还是很强大的。input { file{ path => "/XXX/syslog.txt" start_position => beginning codec => mu...
阅读全文
posted @ 2015-08-27 10:35
简单明了
阅读(26821)
推荐(0)
2015年8月10日
摘要:
今天在原来的机器上修改了JDK的路径配置,但死活不生效。后来查了~/.bash_profile文件,里面没有配置。最后查~/.bashrc文件,发现里面有JDK的配置
阅读全文
posted @ 2015-08-10 17:16
简单明了
阅读(4322)
推荐(0)
2015年7月30日
摘要:
def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]") sparkConf.set("es.inde...
阅读全文
posted @ 2015-07-30 17:20
简单明了
阅读(8902)
推荐(0)
2015年7月29日
摘要:
一、定义日志模型public class Logger { // 日志编号 private String id; // 目标IP private String targetIp; // 目标端口 private String targetPort; // 源...
阅读全文
posted @ 2015-07-29 18:07
简单明了
阅读(1716)
推荐(0)
摘要:
最近一直在研究Spark的分类算法,因为我们是做日志文本分类,在官网和各大网站一直没找到相应的Demo,经过1个多月的研究,终于有点成效。val sparkConf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]")...
阅读全文
posted @ 2015-07-29 10:52
简单明了
阅读(1778)
推荐(0)
2014年11月13日
摘要:
在安装Scala的时候遇到以下错:Exception in thread "main" java.lang.NoClassDefFoundError: scala.tools.nsc.MainGenericRunner at gnu.java.lang.MainThread.run(libgcj.s...
阅读全文
posted @ 2014-11-13 17:57
简单明了
阅读(584)
推荐(0)