金聂政

摘要：基于python3 阅读全文

摘要：import java.util.concurrent.Executors; import java.util.concurrent.ScheduledExecutorService; import java.util.concurrent.TimeUnit; public class TaskScheduler { private static ScheduledExecutor... 阅读全文

摘要：清理脚本 删除脚本 代替文本脚本 阅读全文

摘要：1 private String collectDataJson(String dataListJson){ 2 3 String topic = HBPHelper.getTopic(HBPCollectorConstant.PIPELINE_INFO, 1); 4 5 JSONObject resObj = JSON.parseObject(da... 阅读全文

摘要：1 import java.util.concurrent.BlockingQueue; 2 import java.util.concurrent.LinkedBlockingQueue; 3 import java.util.concurrent.ThreadPoolExecutor; 4 import java.util.concurrent.TimeUnit; 5 6 /*... 阅读全文

摘要：import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest; import org.elasticsearch.action.admin.indices.delete.DeleteIndexResponse; import org.elasticsearch.action.delete.DeleteRespons... 阅读全文

摘要：1、初始化hbase连接 2、删除Hbase表中Region中StartKey为2014000的Region及Meta中Region的元数据 3、创建一个新的region，其中Startkey为NULL 4、关闭hbase的连接 阅读全文

摘要：1 import org.apache.curator.RetryPolicy; 2 import org.apache.curator.framework.CuratorFramework; 3 import org.apache.curator.framework.CuratorFrameworkFactory; 4 import org.apache.curator.framewo... 阅读全文

摘要：import com.alibaba.fastjson.JSON; import org.apache.curator.framework.CuratorFramework; import org.apache.curator.framework.imps.CuratorFrameworkState; import org.apache.curator.framework.recipes.cac... 阅读全文

摘要：1 import org.apache.commons.lang.StringUtils; 2 import org.apache.hadoop.conf.Configuration; 3 import org.apache.hadoop.hbase.*; 4 import org.apache.hadoop.hbase.client.*; 5 import org.apac... 阅读全文

摘要：经过网上资料查证以及自身实际测试，对比了一下几种序列化方式：java序列化、json、avro、kryo、protobuff、protostuff，对5144条6KB左右数据进行测试结果 序列化工具 序列化时间(ms) 反序列化时间(ms) 平均每条记录大小(byte) java序列化 225 23 阅读全文

摘要：import com.fasterxml.jackson.core.JsonProcessingException; import com.fasterxml.jackson.databind.ObjectMapper; import org.apache.commons.lang3.StringUtils; import org.elasticsearch.action.bulk.BulkIt... 阅读全文

摘要：Protostuff是基于Google protobuff技术的Java版本，直接使用原生的protobuff是需要数据结构的预编译过程，需要编写.proto格式的配置文件，再通过protobuff提供的工具翻译成目标语言代码，而Protostuff动态支持了protobuff的预编译的过程，可以直 阅读全文

摘要：kafka的生产者类 阅读全文

摘要：kafka的configuration 阅读全文

摘要：如你要关闭jdk的进程 ps -ef | grep jdk | awk '{print $2}'| xargs kill -9 阅读全文

摘要：spring定时任务： 1、maven下载spring依赖,在pom.xml下添加如下： 2、编写配置文件applicationContext-*.xml 3、在web.xml的<param-value>下加入applicationContext-*.xml，配置如下 注：spring的时间配置如下 阅读全文

摘要：1 import kafka.common.*; 2 import kafka.common.OffsetAndMetadata; 3 import kafka.javaapi.*; 4 import kafka.network.BlockingChannel; 5 import org.apache.kafka.common.TopicPartition; 6 impo... 阅读全文

摘要：1 package com.util; 2 3 import java.io.BufferedReader; 4 import java.io.File; 5 import java.io.FileInputStream; 6 import java.io.InputStreamReader; 7 import java.util.*; 8 9 /** 10 * Crea... 阅读全文

摘要：比较好用的是ZooInspector 阅读全文

摘要：#删除HBase表echo "Clean HBase tables..." > /dev/null 2>&1echo "disable 'SMART_METADATA_COM'" | bin/hbase shell -n > /dev/null 2>&1echo "drop 'SMART_METAD 阅读全文

摘要：Kafka偏移量查看：/usr/lib/hdh/kafka/bin/kafka-consumer-offset-checker.sh --group meta-group --zookeeper localhost:2181 --topic topicNamebin/kafka-run-class. 阅读全文

摘要：手工安装Storm集群 注：最新的Storm已不再必须依赖ZeroMQ，各种依赖的库和软件也已经有更新的版本。 要手工安装Storm，需要先安装以下软件 Zookeeper集群（安装方法详见管理向导） Java6.0 Python2.6.6 Unzip命令 NOTE: Nimbus和管理进程将要依赖 阅读全文