百里登风

导航

2017年6月9日

storm的代码实现

摘要: 先模拟产生一些数据 我把这些数据摘一部分下来 参考代码KafkaProducer.java 先在kafka创建topic 两个副本5个分区 可以看到topic创建成功 总结一下前面的流程 下面再新建一个maven项目stormpProject0521 依赖文件: 依赖文件pom.xml参考代码 参考 阅读全文

posted @ 2017-06-09 17:39 百里登峰 阅读(296) 评论(0) 推荐(0)

storm项目架构分析

摘要: storm是一条一条数据处理,spark是一批数据处理的,storm才是真正意义的实时数据处理。 1、fileBeat类似flume用来采集日志的,fileBeat是轻量级的,对性能消化不大,而flume比较消化性能。 2、fileBeat会实时监控前端机,然后把数据实时写到Kafka集群里面。 3 阅读全文

posted @ 2017-06-09 10:36 百里登峰 阅读(361) 评论(0) 推荐(0)

storm的优化以及雪崩问题

摘要: 下图来说明什么是雪崩现象: 当spout发送的速度非常快,而bolt的处理速度很慢,spout源源不断地向内存中发送tuple,这样下去迟早会把内存撑爆,这样就叫做雪崩现象! 怎么处理雪崩问题呢 第一个方法不能有很好的保障,第二种方法可能会导致spout的严重的数据延迟,所以实际在应该中是两个方法结 阅读全文

posted @ 2017-06-09 00:22 百里登峰 阅读(516) 评论(0) 推荐(0)

2017年6月8日

storm的定时任务

摘要: 应用场景: 第一种方法 参考代码StormTopologyTimer1.java 方法二: 所以我们应该这么干 这个方法也ok的,这个不同于前面的在main里设置定时,这个是在bolt里设置,这个方法就是针对bolt设置,针对某一个bolt设置定时任务! 参考代码StormTopologyTimer 阅读全文

posted @ 2017-06-08 23:29 百里登峰 阅读(1729) 评论(0) 推荐(0)

storm的可靠性

摘要: 消息确认机制: 在数据发送的过程中可能会数据丢失导致没能接收到,spout有个超时时间(默认是30S),如果30S过去了还是没有接收到数据,也认为是处理失败。 运行结果都是处理成功 参考代码StormTopologyAcker.java 阅读全文

posted @ 2017-06-08 22:20 百里登峰 阅读(318) 评论(0) 推荐(0)

2017年6月4日

nginx-1.8.1的安装

摘要: 1、我直接切换到root用户下安装,这里需要三个插件一起配套使用的 分别是: 1.gzip 模块需要 zlib 库 ( 下载: http://www.zlib.NET/ )2.rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ )3.ssl 功能需要 ope 阅读全文

posted @ 2017-06-04 23:34 百里登峰 阅读(2570) 评论(0) 推荐(0)

2017年6月1日

ElasticSearch 在3节点集群的启动

摘要: ElasticSearch的启动分前台和后台启动 先介绍前台启动: 先在master节点上启动 可以看到已经启动了 同时在slave1、slave2节点上也启动 可以看到都已经启动了! 在浏览器分别打开每个节点的状况观察,这里需要等待变成green状态才算是可以 这个是master节点的状况 这个是 阅读全文

posted @ 2017-06-01 12:13 百里登峰 阅读(397) 评论(0) 推荐(0)

2017年5月31日

The type java.lang.CharSequence cannot be resolved. It is indirectly referenced from required .class files

摘要: 问题描述 Exception in thread "main" java.lang.Error: Unresolved compilation problems: The type java.lang.CharSequence cannot be resolved. It is indirectly 阅读全文

posted @ 2017-05-31 23:09 百里登峰 阅读(2326) 评论(0) 推荐(0)

2017年5月10日

sqoop导入导出对mysql再带数据库test能跑通用户自己建立的数据库则不行

摘要: sqoop对hdfs导入导出怎么操作这里我就不多说了 现在说下sqoop导入导出时针对mysql后面用户手动创建的数据库导入到处遇到的问题 首先我这里搭建的是3节点集群 master slave1 slave2 我的sqoop mysql安装在master节点上,在mysql里自己创建了tv,stu 阅读全文

posted @ 2017-05-10 09:29 百里登峰 阅读(501) 评论(0) 推荐(0)

2017年5月2日

测试运行kafka的时候缺少包的错误

摘要: 把kafka安装好了,在开启Kafka producer生产者,消费者的时候报这个错误 解决方法:下载slf4j-1.7.6.ziphttp://www.slf4j.org/dist/slf4j-1.7.6.zip 下载好了后 解压压缩包 找到这个文包 把这个包通过rz 命令上传到每个节点的kafk 阅读全文

posted @ 2017-05-02 21:38 百里登峰 阅读(329) 评论(0) 推荐(0)