摘要： def baseLine(sc: SparkContext): Unit = { println("--------------------baseLine start--------------------") var data1Rdd = sc.textFile("/test/bas... 阅读全文

摘要： 阅读全文

摘要： 最近在项目中使用LogStash做日志的采集和过滤，感觉LogStash还是很强大的。input { file{ path => "/XXX/syslog.txt" start_position => beginning codec => mu... 阅读全文

摘要： 今天在原来的机器上修改了JDK的路径配置，但死活不生效。后来查了~/.bash_profile文件，里面没有配置。最后查~/.bashrc文件，发现里面有JDK的配置 阅读全文

摘要： def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]") sparkConf.set("es.inde... 阅读全文

摘要： 一、定义日志模型public class Logger { // 日志编号 private String id; // 目标IP private String targetIp; // 目标端口 private String targetPort; // 源... 阅读全文

摘要： 最近一直在研究Spark的分类算法，因为我们是做日志文本分类，在官网和各大网站一直没找到相应的Demo，经过1个多月的研究，终于有点成效。val sparkConf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]")... 阅读全文

摘要： 在安装Scala的时候遇到以下错：Exception in thread "main" java.lang.NoClassDefFoundError: scala.tools.nsc.MainGenericRunner at gnu.java.lang.MainThread.run(libgcj.s... 阅读全文