life_start - 博客园

2016年9月29日

摘要： Shell 本身是一个用C语言编写的程序，它是用户使用Unix/Linux的桥梁，用户的大部分工作都是通过Shell完成的。Shell既是一种命令语言，又是一种程序设计语言。作为命令语言，它交互式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有阅读全文

posted @ 2016-09-29 14:43 life_start 阅读(239) 评论(0) 推荐(0)

2016年9月21日

4、记录1----获取hdfs上FileSystem的方法记录2：正则匹配路径：linux、hdfs

摘要：正则匹配路径的方法：阅读全文

posted @ 2016-09-21 14:50 life_start 阅读(1517) 评论(0) 推荐(0)

2016年9月20日

18 线程池，线程安全队列，线程创建

摘要：参考： http://blog.csdn.net/madun/article/details/20313269 创建线程池提交线程：线程安全队列： BlockingQueue，顾名思义，“阻塞队列”：可以提供阻塞功能的队列。首先，看看BlockingQueue提供的常用方法： add(e) 阅读全文

posted @ 2016-09-20 11:36 life_start 阅读(260) 评论(0) 推荐(0)

1、工程log4j 配置

摘要： pom.xml添加依赖：代码中填写阅读全文

posted @ 2016-09-20 11:29 life_start 阅读(204) 评论(0) 推荐(0)

6、统计solr目录索引信息

摘要： package com.main.java.solr.statistics; import org.apache.lucene.document.Document; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexableField; import org.apache.lucene... 阅读全文

posted @ 2016-09-20 11:26 life_start 阅读(836) 评论(0) 推荐(0)

2016年9月19日

3、spark 加载zip压缩文件

该文被密码保护。阅读全文

posted @ 2016-09-19 19:50 life_start 阅读(2) 评论(0) 推荐(0)

5、solr数据通过spark rdd迁移到ES，Hbase （2016-08-01---2016-09-19）

该文被密码保护。阅读全文

posted @ 2016-09-19 17:30 life_start 阅读(6) 评论(0) 推荐(0)

2016年9月14日

19 、集合元素排序

摘要： 1 /** 2 * 对scoreDocs 进行排序 3 * @param scoreDocs 4 * @return 5 */ 6 public static ScoreDoc[] sort(ScoreDoc[] scoreDocs){ 7 Arrays.sort(scoreDocs, new Comparat... 阅读全文

posted @ 2016-09-14 14:08 life_start 阅读(154) 评论(0) 推荐(0)

2016年9月13日

4、Spark按照数据条数划分partition加载solr索引数据

该文被密码保护。阅读全文

posted @ 2016-09-13 15:17 life_start 阅读(2) 评论(0) 推荐(0)

2016年8月26日

3、spark读取lucene索引文件多线程

该文被密码保护。阅读全文

posted @ 2016-08-26 11:17 life_start 阅读(4) 评论(0) 推荐(0)