06 2017 档案

摘要:Kafka初识 Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: 1. 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 2. 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 3. 有些数据,存储数据库浪费,直接存储硬盘效率 阅读全文
posted @ 2017-06-26 09:08 mikeguan 阅读(4072) 评论(1) 推荐(1)
摘要:"http://upstart.ubuntu.com/cookbook/" 阅读全文
posted @ 2017-06-19 15:33 mikeguan 阅读(119) 评论(0) 推荐(0)
摘要:由于bash会展开例如 rm aa/ 这样的命令 如果后面的文件太多就会报参数太长, 所以有时候删除大量小文件就不适合用rm了 可以使用find先查找在删除 就不会出现上面那种报错问题, 可是还有一个问题文件太多的话 exec rm {} \; 完全没有效率, 一两个小时估计也就只能删除几十万的文件 阅读全文
posted @ 2017-06-18 17:52 mikeguan 阅读(3988) 评论(0) 推荐(0)
摘要:screen Key 快捷键Action 动作Notes 备注 Ctrl+a cnew window 新窗口  Ctrl+a nnext window 下一个窗口I bind F12 to this Ctrl+a pprevious window 上一个窗口I bind F11 to th 阅读全文
posted @ 2017-06-12 08:41 mikeguan 阅读(347) 评论(0) 推荐(0)
摘要:通过logstash搜集日志 这里搜集日志可以使用ELK的一个插件filebeat对日志进行处理,并传输到后端的程序 在这里有一个不好的地方, 如果想要直接使用filebeat将日志发送到elasticsearch的话, 它并不能对任何字段进行替换等处理 比较明显的问题就是, 一般我们需要将\@ti 阅读全文
posted @ 2017-06-05 09:01 mikeguan 阅读(8315) 评论(0) 推荐(0)