摘要： 正在测试的程序需要多次迭代（400+次），每次迭代有复杂的运算迭代到100多次的时候报java.lang.stackoverflowerror的错误解决方法：先checkpoint()再count()，切断rdd的lineage，防止因为DAG过深出现栈溢出 阅读全文

摘要： 在将lucene core版本从4.5.1升级到4.7.0后，如下代码使用ik分词器报错IKAnalyzer analyzer = new IKAnalyzer(true);StringReader reader=new StringReader(line);TokenStream ts=analy... 阅读全文

摘要： arraylist同一个实例重复使用时，需要使用clear()及时清空，否则会在上次的结果后面添加项。List weightsList = new ArrayList(); for(int i=0;i<4;i++){ fs = FileSystem.get(URI.create(statePath[i]), conf); hdfsInStream = fs.open(new Path(statePath[i])); br = new BufferedReader(new InputStreamReader(hdfsInStream)); ... 阅读全文