摘要：hadoop 版本儿：hadoop-2.0-cdh4.3.0想做一个hive的命令的schedule，所以必须获取正在运行的job的数量。到网上查了一通，一开始用了JobClient，怎么弄都是Null pointor Exception，非常郁闷，不得已看了代码，发现在jobclient初始化的时候出现了这句话：setConf(conf); String tracker = conf.get("mapred.job.tracker", "local");可是2.0根本没有job tracker...我又看了hadoop的命令的shell文件，发现调用h 阅读全文

摘要：Azkaban系统是一个数据处理的很好用的工具，可以用来运行hadoop任务，管理hdfs，可以进行schedule任务调度，总体来说功能还是很强大的。研究了一下azkaban，做了以下总结性的东西，希望对用azkaban的人有所帮助。1、Azkaban的安装azkaban需要用到mysql进行数据的存储和交换。azkaban分文两部分，分别是web server和executive server ，webserver 是前台页面的显示，默认的服务器是jetty，安装webserver需要对conf文件下的azkaban.properties文件进行配置，需要指定azkaban的web页面存储 阅读全文

摘要：分类器在数据挖掘中的作用不言而喻，weka中的分类器有很多种类型，但是weka在输出结果中，只输出了一个分类的预测的类型，没有输出分类的得分，有一些不给力。如果想知道得分和其预测的类的话，就得调用weka的API。weka的API还是很方便的，如果我们已经输出了一个模型的话，那么用两句话就能在代码中获取这个模型：ObjectInputStream ob = new ObjectInputStream(new FileInputStream(model)); Classifier classifier = (Classifier) ob.readObject();这样就获取了分类器... 阅读全文

摘要：问题描述： hadoop版本：hadoop-2.0.0-cdh4.3.0 在本地环境下能够找到scheme，但是通过maven打包fatjar 后放到其他机器上就出现找不到scheme。 看了代码，发现通过FileSystem.get(conf)初始化的时候，要通过静态加载来实现，其加载类的方法代码如下：private static FileSystem createFileSystem(URI uri, Configuration conf ) throws IOException { Class clazz = conf.getClass("fs." + uri.ge. 阅读全文

摘要：导致此问题的一般有如下两种情况。1.java.lang.NoClassDefFoundError指向的"Orange/MyCalendar "这个字符串所指对象的类不存在如不是自定义类的话,到 http://www.findjar.com 查找包含该信息的jar包并引入.2.类的加载先后顺序有问题如启动web application的时候，类的加载是有一个先后顺序的，如果应该先加载的类在后面加载，别的类在调用时找不到它，那么也会报这个错.其他 java.lang.NoClassDefFoundError 异常都可这样处理 阅读全文