随笔分类 -  bigData

hadoop,storm......
Grok Debugger本地安装（转载）
摘要：原文链接：http://fengwan.blog.51cto.com/508652/1758845 最近在使用ELK对日志进行集中管理，因为涉及到日志的规则经常要用到http://grokdebug.herokuapp.com/进行调试，但是因为国内网络的特殊原因网站用到的js文件无法访问，所以经常 阅读全文
posted @ 2017-08-10 11:23 peak-c 阅读(446) 评论(0) 推荐(0)
kafkaOffsetMonitor
摘要：kafkaOffsetMonitor 下载地址： http://pan.baidu.com/s/1gf9rmrp 执行脚本： java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \ com.quantifind.kafka.offsetapp.OffsetG 阅读全文
posted @ 2017-06-30 11:27 peak-c 阅读(164) 评论(0) 推荐(0)
kafka重置offset
摘要：kafka重置offset 1.删除zookeeper上节点信息 打开client ：./zkCli.sh -server 127.0.0.1:12181 删除consumer：rmr /consumers/xxx 2.代码中设置从最小读（注意程序启动前保证zk上的consumer不存在） prop 阅读全文
posted @ 2017-06-30 11:24 peak-c 阅读(1781) 评论(0) 推荐(0)
kafka topic 完全删除
摘要：kafka topic 完全删除 1.自动删除脚本（得配置server.properties 中 delete.topic.enable=true） ./kafka-topics.sh --zookeeper xxx:2181,xxx:2181,xxx:2181 --topic test --del 阅读全文
posted @ 2017-06-30 11:22 peak-c 阅读(351) 评论(0) 推荐(0)
kafka集群部署文档（转载）
摘要：原文链接：http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块 阅读全文
posted @ 2017-06-30 11:18 peak-c 阅读(374) 评论(0) 推荐(0)
kafka单机部署文档
摘要：单机Kafka部署文档 最简单的使用方式，单机，使用自带的zookeeper 1.解压 下载地址：http://pan.baidu.com/s/1i4K2pXr tar –zxvf kafka_2.10-0.10.0.1.tgz 2.修改配置 vim config/server.properties 阅读全文
posted @ 2017-06-30 11:07 peak-c 阅读(2183) 评论(0) 推荐(0)
Storm: 集群安装和配置
摘要：前期准备：3台服务器： 192.168.8.94 192.168.8.95 192.168.8.96 去storm官网下载响应版本的软件包：http://storm.apache.org/downloads.html 在这里下载的是： wget http://mirrors.hust.edu.cn/ 阅读全文
posted @ 2017-02-28 18:04 peak-c 阅读(270) 评论(0) 推荐(0)
zookeeper: web ui工具的安装
摘要：zookeeper官方没有提供web用户界面，这使很多人在使用zookeeper（动物管理员）同时，并不是很容易的理解zookeeper的数据结构，还好淘宝有位大神用Nodejs写了一个web的ui工具，虽然界面不是很华丽，但用起来还是挺方便的。网上有其实有些资料可以直接拿来配置，但笔者遭遇几个错误 阅读全文
posted @ 2017-02-28 18:04 peak-c 阅读(4750) 评论(0) 推荐(0)
hadoop: Shuffle过程详解 (转载)
摘要：原文地址：http://langyu.iteye.com/blog/992916 另一篇博文：http://www.cnblogs.com/gwgyk/p/3997849.html Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必 阅读全文
posted @ 2017-02-24 15:30 peak-c 阅读(252) 评论(0) 推荐(0)
hadoop 启动or运行mr错误
摘要：hadoop 错误：Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured. hadoop 错误：java.lang 阅读全文
posted @ 2017-02-24 15:09 peak-c 阅读(440) 评论(0) 推荐(0)
Storm: 遇到问题总结
摘要：1.没有ack : kafkaspout id 重复导致每次读最新没有数据。 2.由于storm提供的读取kafka的enternal工具存在bug，导致重复读取数据，致使数据不准确。storm bug标号:[storm-643] (0.9.5，之后已修复) 3.storm-netty 连接失败导致 阅读全文
posted @ 2017-02-24 15:09 peak-c 阅读(204) 评论(0) 推荐(0)
Storm: 性能优化 (转载)
摘要：Storm 性能优化 原文地址：http://www.jianshu.com/p/f645eb7944b0 目录 场景假设 调优步骤和方法 Storm 的部分特性 Storm 并行度 Storm 消息机制 Storm UI 解析 性能优化 场景假设 在介绍 Storm 的性能调优方法之前，假设一个场 阅读全文
posted @ 2017-02-24 11:53 peak-c 阅读(6264) 评论(1) 推荐(6)