摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 23:04
uuhh
阅读(296)
评论(0)
推荐(0)
摘要：
# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright... 阅读全文
posted @ 2018-07-05 21:03
uuhh
阅读(102)
评论(0)
推荐(0)
摘要：
package topo; import java.util.ArrayList; import java.util.Calendar; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.UUID; import org.apache.hadoop.hbase.cli... 阅读全文
posted @ 2018-07-05 21:02
uuhh
阅读(166)
评论(0)
推荐(0)
摘要：
package topo; import java.util.ArrayList; import java.util.List; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.storm.genera... 阅读全文
posted @ 2018-07-05 21:01
uuhh
阅读(138)
评论(0)
推荐(0)
摘要：
package topo; import kafka.productor.KafkaProperties; import spout.LogSpout; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.... 阅读全文
posted @ 2018-07-05 21:01
uuhh
阅读(76)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 21:00
uuhh
阅读(69)
评论(0)
推荐(0)
摘要：
package topo; import backtype.storm.topology.OutputFieldsDeclarer; import backtype.storm.tuple.Fields; import backtype.storm.tuple.ITuple; import backtype.storm.tuple.Values; import org.apache.hadoo... 阅读全文
posted @ 2018-07-05 20:59
uuhh
阅读(101)
评论(0)
推荐(0)
摘要：
package spout; import java.util.Map; import java.util.Queue; import java.util.UUID; import java.util.concurrent.ConcurrentLinkedQueue; import kafka.consumers.CellConsumer; import backtype.storm.spo... 阅读全文
posted @ 2018-07-05 20:58
uuhh
阅读(104)
评论(0)
推荐(0)
摘要：
package tools; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; public class DateFmt { public static final String date_long = ... 阅读全文
posted @ 2018-07-05 20:58
uuhh
阅读(944)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding co... 阅读全文
posted @ 2018-07-05 20:57
uuhh
阅读(172)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding co... 阅读全文
posted @ 2018-07-05 20:56
uuhh
阅读(107)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding co... 阅读全文
posted @ 2018-07-05 20:56
uuhh
阅读(322)
评论(0)
推荐(0)
摘要：
package kafka.consumers; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; import java.util.Queue; import java.util.concurrent.ConcurrentLinkedQueue... 阅读全文
posted @ 2018-07-05 20:54
uuhh
阅读(106)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding co... 阅读全文
posted @ 2018-07-05 20:54
uuhh
阅读(213)
评论(0)
推荐(0)
摘要：
package cmcc.hbase.dao.impl; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import ... 阅读全文
posted @ 2018-07-05 20:52
uuhh
阅读(292)
评论(0)
推荐(0)
摘要：
package cmcc.hbase.dao.impl; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache... 阅读全文
posted @ 2018-07-05 20:52
uuhh
阅读(254)
评论(0)
推荐(0)
摘要：
package bolt; import java.util.Calendar; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Set; import backtype.storm.task.TopologyContext; import backtype... 阅读全文
posted @ 2018-07-05 20:50
uuhh
阅读(87)
评论(0)
推荐(0)
摘要：
package bolt; import java.util.Map; import backtype.storm.task.TopologyContext; import backtype.storm.topology.BasicOutputCollector; import backtype.storm.topology.IBasicBolt; import backtype.storm... 阅读全文
posted @ 2018-07-05 20:45
uuhh
阅读(78)
评论(0)
推荐(0)
摘要：
package cmcc.hbase.dao; import java.util.List; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Result; public interface HBaseDAO { public void save(Put put, Stri... 阅读全文
posted @ 2018-07-05 20:43
uuhh
阅读(216)
评论(0)
推荐(0)
摘要：
package bolt; import java.util.Calendar; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Set; import backtype.storm.task.TopologyContext; import backtype... 阅读全文
posted @ 2018-07-05 20:43
uuhh
阅读(70)
评论(0)
推荐(0)
摘要：
package cmcc.constant; public class Constants { public static final String HBASE_ZOOKEEPER_LIST = "node4:2181"; public static final String KAFKA_ZOOKEEPER_LIST = "node1:2181,node2:2181,node3:218... 阅读全文
posted @ 2018-07-05 20:42
uuhh
阅读(162)
评论(0)
推荐(0)
摘要：
package com.sxt.flume; import org.apache.flume.Event;import org.apache.flume.EventDeliveryException;import org.apache.flume.api.RpcClient;import org.a 阅读全文
posted @ 2018-07-05 19:07
uuhh
阅读(517)
评论(0)
推荐(0)
摘要：
Kafka文档 一、Kafka简介 Kafka是一个分布式的消息队列系统(Message Queue)。 官网：https://kafka.apache.org/ kafka集群有多个Broker服务器组成，每个类型的消息被定义为topic。 同一topic内部的消息按照一定的key和算法被分区(p 阅读全文
posted @ 2018-07-05 19:04
uuhh
阅读(277)
评论(0)
推荐(0)
摘要：
一、环境要求JDK 1.6+java -versionPython 2.6.6+python -V ZooKeeper3.4.5+storm 0.9.4+ 二、单机模式上传解压$ tar xf apache-storm-0.9.4.tar.gz $ cd apache-storm-0.9.4 $ s 阅读全文
posted @ 2018-07-05 16:46
uuhh
阅读(216)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 13:41
uuhh
阅读(200)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 13:40
uuhh
阅读(94)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.transactional; import java.math.BigInteger; import java.util.HashMap; import java.util.Map; import backtype.storm.coordination.BatchOutputCollector; import backtype.storm.task... 阅读全文
posted @ 2018-07-05 13:39
uuhh
阅读(108)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.transactional; import java.math.BigInteger; import backtype.storm.transactional.ITransactionalSpout; import backtype.storm.utils.Utils; public class MyCoordinator implements ... 阅读全文
posted @ 2018-07-05 13:38
uuhh
阅读(64)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.transactional; import java.math.BigInteger; import java.util.Map; import backtype.storm.coordination.BatchOutputCollector; import backtype.storm.transactional.ITransactionalSp... 阅读全文
posted @ 2018-07-05 13:36
uuhh
阅读(109)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.transactional; import java.io.Serializable; public class MyMeta implements Serializable{ /** * */ private static final long serialVersionUID = 1L; private long begi... 阅读全文
posted @ 2018-07-05 13:35
uuhh
阅读(148)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.transactional; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.storm.generated.AlreadyAliveException; im... 阅读全文
posted @ 2018-07-05 13:34
uuhh
阅读(171)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.transactional; import java.util.Map; import backtype.storm.coordination.BatchOutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology.Output... 阅读全文
posted @ 2018-07-05 13:33
uuhh
阅读(75)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.transactional; import java.util.HashMap; import java.util.Map; import java.util.Random; import backtype.storm.task.TopologyContext; import backtype.storm.topology.OutputFields... 阅读全文
posted @ 2018-07-05 13:32
uuhh
阅读(93)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 13:31
uuhh
阅读(167)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 13:30
uuhh
阅读(117)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 13:29
uuhh
阅读(114)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.drpc; import org.apache.thrift7.TException; import backtype.storm.generated.DRPCExecutionException; import backtype.storm.utils.DRPCClient; public class MyDRPCclient { /**... 阅读全文
posted @ 2018-07-05 13:28
uuhh
阅读(95)
评论(0)
推荐(0)
摘要：
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding... 阅读全文
posted @ 2018-07-05 13:28
uuhh
阅读(71)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.grouping; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.Map; import backtype.storm.spout.SpoutOutputCollect... 阅读全文
posted @ 2018-07-05 13:27
uuhh
阅读(74)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.grouping; import java.util.Map; import backtype.storm.task.OutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology.IRichBolt; import backty... 阅读全文
posted @ 2018-07-05 13:26
uuhh
阅读(76)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.grouping;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.StormSubmitter;import backtype.st 阅读全文
posted @ 2018-07-05 13:25
uuhh
阅读(112)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.ack; import java.util.Map; import backtype.storm.task.OutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology.IRichBolt; import backtype.st... 阅读全文
posted @ 2018-07-05 13:24
uuhh
阅读(73)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.ack; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.Map; import backtype.storm.spout.SpoutOutputCollector; ... 阅读全文
posted @ 2018-07-05 13:23
uuhh
阅读(88)
评论(0)
推荐(0)
摘要：
package com.sxt.storm.ack; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.storm.generated.AlreadyAliveException; import back... 阅读全文
posted @ 2018-07-05 13:22
uuhh
阅读(111)
评论(0)
推荐(0)
摘要：
package com.sxt.es; import java.io.File; import java.net.InetAddress; import java.util.HashMap; import java.util.Map; import org.elasticsearch.action.admin.indices.exists.indices.IndicesExistsRespo... 阅读全文
posted @ 2018-07-05 12:55
uuhh
阅读(135)
评论(0)
推荐(0)
摘要：
package com.sxt.es; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Controller; import org.springframework.ui.Model; import org.springframework.w... 阅读全文
posted @ 2018-07-05 12:55
uuhh
阅读(129)
评论(0)
推荐(0)
摘要：
package com.sxt.es; public class HtmlBean { private int id; private String title; private String content; private String url; public int getId() { return id; } public void setId(int id) { ... 阅读全文
posted @ 2018-07-05 12:54
uuhh
阅读(271)
评论(0)
推荐(0)
摘要：
package com.sxt.es; import java.io.File; import java.net.InetAddress; import java.util.HashMap; import java.util.Map; import org.elasticsearch.action.admin.indices.exists.indices.IndicesExistsRespo... 阅读全文
posted @ 2018-07-05 12:53
uuhh
阅读(618)
评论(0)
推荐(0)
摘要：
简介 什么是 Google Protocol Buffer？ 假如您在网上搜索，应该会得到类似这样的文字介绍： Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目前已经正在使用的有超过 48,162 种报文格式定义和超过 12, 阅读全文
posted @ 2018-07-05 10:21
uuhh
阅读(180)
评论(0)
推荐(0)
摘要：
选选项项 含义说明含义说明 --append 将数据追加到HDFS上一个已存在的数据集上 --as-avrodatafile 将数据导入到Avro数据文件 --as-sequencefile 将数据导入到SequenceFile --as-textfile 将数据导入到普通文本文件（默认） --bo 阅读全文
posted @ 2018-07-05 10:16
uuhh
阅读(120)
评论(0)
推荐(0)
摘要：
window.navigator.userAgent:浏览器信息 nginx.conf:log_format my_format '$remote_addr^A$msec^A$http_host^A$request_uri'; location = /log.gif { default_type i 阅读全文
posted @ 2018-07-05 10:15
uuhh
阅读(179)
评论(0)
推荐(0)
摘要：
一、调优的目的 充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述 从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper阶段包括数据的读取、map处理以及写出操作( 阅读全文
posted @ 2018-07-05 10:15
uuhh
阅读(574)
评论(0)
推荐(0)
摘要：
sqoop：导入： import--connectjdbc:mysql://node3:3306/test--usernameroot--password123--as-textfile--columnsid,name,msg--tablepsn--delete-target-dir--target 阅读全文
posted @ 2018-07-05 10:14
uuhh
阅读(294)
评论(0)
推荐(0)
摘要：
选项 含义说明 --connect <jdbc-uri> 指定JDBC连接字符串 --connection-manager <class-name> 指定要使用的连接管理器类 --driver <class-name> 指定要使用的JDBC驱动类 --hadoop-mapred-home <dir> 阅读全文
posted @ 2018-07-05 10:14
uuhh
阅读(199)
评论(0)
推荐(0)
摘要：
http://flume.apache.org/ 安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 ex 阅读全文
posted @ 2018-07-05 10:12
uuhh
阅读(70)
评论(0)
推荐(0)
摘要：
在集群上进行性能测试，形成正确正确的配置参数组合，需要反复尝试优化很多个参数，不存在拿来就能用的秘诀。 随机读密集型： 对于随机读密集型工作负载，高效利用缓存和更好的索引，会带来更高的性能。 hfile.block.cache.size 0.4 - 块缓存是读缓存，该属性定义块缓存可以使用的堆的最大 阅读全文
posted @ 2018-07-05 10:11
uuhh
阅读(53)
评论(0)
推荐(0)
摘要：
hive和hbase同步https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 1、把hive-hbase-handler-1.2.1.jar cp到hbase/lib 下 同时把hbase中的所有的jar，cp到hive/ 阅读全文
posted @ 2018-07-05 10:11
uuhh
阅读(45)
评论(0)
推荐(0)
摘要：
filesegment（段，多个document组成）document（一条记录，一个对象实例）field（对象的属性）term（项，分词之后的词条） # yescurl -XPUT http://192.168.133.6:9200/bjsxt/# yes curl -XDELETE http:/ 阅读全文
posted @ 2018-07-05 09:39
uuhh
阅读(288)
评论(0)
推荐(0)
摘要：
1.关闭es集群 2.共享模式sxt用户plugins下创建ik目录 3.ftp上传1个节点ik分词器到software目录下（便于拷贝） 4.plugins下sxt用户同步创建 ik目录 3.拷贝ik压缩包到software目录下，使用sxt用户解压 unzip -d （或者root用户拷贝压缩包 阅读全文
posted @ 2018-07-05 09:38
uuhh
阅读(411)
评论(0)
推荐(0)
摘要：
elasticsearch继承ik分词器 一．下载编译 从地址https://github.com/medcl/elasticsearch-analysis-ik下载elasticsearch中文分词器 这里默认的是master的 但是master的项目需要用gradle编译，这里选择1.8.0版本 阅读全文
posted @ 2018-07-05 09:37
uuhh
阅读(270)
评论(0)
推荐(0)
摘要：
Elasticsearch 环境部署测试 注： Elasticsearch Kibana 的下载地址统一为https://www.elastic.co/downloads/ 问题排查可以登录https://discuss.elastic.co/c论坛查找相关信息 一． 安装 Elasticsearc 阅读全文
posted @ 2018-07-05 09:36
uuhh
阅读(412)
评论(0)
推荐(0)
摘要：
共享模式下： useradd sxtecho sxt | passwd --stdin sxt su sxt root 用户创建 /opt/sxt/es(普通用户无法创建) mkdir -p /opt/sxt/es (注意：此时的目录权限属于root) 在附近目录尚学堂下执行： chown sxt: 阅读全文
posted @ 2018-07-05 09:35
uuhh
阅读(41)
评论(0)
推荐(0)
摘要：
1 lucene简介 1.1 什么是lucene Lucene是一个全文搜索框架，而不是应用产品。因此它并不像http://www.baidu.com/ 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。 1.2 lucene能做什么 ：本质就是给搜索内容定位 阅读全文
posted @ 2018-07-05 09:33
uuhh
阅读(158)
评论(0)
推荐(0)
摘要：
1.解压 2.配置环境变量 3.添加数据库驱动包 cp mysql-connector-java-5.1.1.10.jar /sqoop/lib 4.重命名配置文件 mv sqoop-env-template.sh sqoop-env.sh 5.去掉未安装的服务（如:hbase,hcatalog,a 阅读全文
posted @ 2018-07-05 09:02
uuhh
阅读(254)
评论(0)
推荐(0)
摘要：
描述：负载均衡器启动周期 5分钟<property> <name>hbase.balancer.period </name> <value>300000</value></property> 描述：region拆分阈值 10g <property> <name>hbase.hregion.max.f 阅读全文
posted @ 2018-07-05 08:45
uuhh
阅读(316)
评论(0)
推荐(0)
浙公网安备 33010602011771号