随笔档案「2016年9月」 - life_start

该文被密码保护。

posted @ 2016-09-30 17:02 life_start 阅读(3) 评论(0) 推荐(0)

摘要：进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理 1）查看有哪些表 hbase(main)> list 2）创建表 #... 阅读全文

posted @ 2016-09-29 15:44 life_start 阅读(231) 评论(0) 推荐(0)

1、shell 简介

摘要：Shell 本身是一个用C语言编写的程序，它是用户使用Unix/Linux的桥梁，用户的大部分工作都是通过Shell完成的。Shell既是一种命令语言，又是一种程序设计语言。作为命令语言，它交互式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有阅读全文

posted @ 2016-09-29 14:43 life_start 阅读(239) 评论(0) 推荐(0)

4、记录1----获取hdfs上FileSystem的方法记录2：正则匹配路径：linux、hdfs

摘要：正则匹配路径的方法：阅读全文

posted @ 2016-09-21 14:50 life_start 阅读(1517) 评论(0) 推荐(0)

18 线程池，线程安全队列，线程创建

摘要：参考： http://blog.csdn.net/madun/article/details/20313269 创建线程池提交线程：线程安全队列： BlockingQueue，顾名思义，“阻塞队列”：可以提供阻塞功能的队列。首先，看看BlockingQueue提供的常用方法： add(e) 阅读全文

posted @ 2016-09-20 11:36 life_start 阅读(260) 评论(0) 推荐(0)

1、工程log4j 配置

摘要：pom.xml添加依赖：代码中填写阅读全文

posted @ 2016-09-20 11:29 life_start 阅读(204) 评论(0) 推荐(0)

6、统计solr目录索引信息

摘要：package com.main.java.solr.statistics; import org.apache.lucene.document.Document; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexableField; import org.apache.lucene... 阅读全文

posted @ 2016-09-20 11:26 life_start 阅读(836) 评论(0) 推荐(0)

3、spark 加载zip压缩文件

该文被密码保护。

posted @ 2016-09-19 19:50 life_start 阅读(2) 评论(0) 推荐(0)

5、solr数据通过spark rdd迁移到ES，Hbase （2016-08-01---2016-09-19）

该文被密码保护。

posted @ 2016-09-19 17:30 life_start 阅读(6) 评论(0) 推荐(0)

19 、集合元素排序

摘要：1 /** 2 * 对scoreDocs 进行排序 3 * @param scoreDocs 4 * @return 5 */ 6 public static ScoreDoc[] sort(ScoreDoc[] scoreDocs){ 7 Arrays.sort(scoreDocs, new Comparat... 阅读全文

posted @ 2016-09-14 14:08 life_start 阅读(154) 评论(0) 推荐(0)

4、Spark按照数据条数划分partition加载solr索引数据

该文被密码保护。

posted @ 2016-09-13 15:17 life_start 阅读(2) 评论(0) 推荐(0)