随笔分类 -  大数据

（转）RedHat/CentOS安装和配置kerberos
摘要：RedHat/CentOS安装和配置kerberos 需要在kerberos server和客户端都先安装ntp (Internet时间协议，保证服务器和客户机时间同步 ) 1 kerberos 服务器端 1.1. install /start ntp #sudo yum install ntp # 阅读全文
posted @ 2017-07-24 14:30 不可替代的毛线 阅读(893) 评论(0) 推荐(0)
阿里的STORM——JSTORM
摘要：看介绍文档貌似挺好：https://github.com/alibaba/jstorm 阿里拥有自己的实时计算引擎 类似于hadoop 中的MR 开源storm响应太慢 开源社区的速度完全跟不上Ali的需求 降低未来运维成本 提供更多技术支持，加快内部业务响应速度 现有Storm无法满足一些需求 现 阅读全文
posted @ 2017-03-03 16:22 不可替代的毛线 阅读(24169) 评论(0) 推荐(0)
Kafka的架构设计（目前翻译最好的一稿）
摘要：转自：http://www.oschina.net/translate/kafka-design 参与翻译(4人)：fbm, 飞翔的猴子, Khiyuan, nesteaa 感谢这些同志们的辛勤工作，翻译的真不错，目前见到的最好的Kafka中文文章 Kafka是一个高吞吐量分布式消息系统。linke 阅读全文
posted @ 2017-03-03 16:19 不可替代的毛线 阅读(3466) 评论(0) 推荐(0)
Storm常见模式——分布式RPC
摘要：Storm常见模式——分布式RPC 本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作为学习Storm DRPC的资料，转载必须以超链接形式标明文章原始出处及本文翻译链接。 分布式RPC（distributed RPC，D 阅读全文
posted @ 2017-03-03 16:15 不可替代的毛线 阅读(571) 评论(0) 推荐(0)
Storm常见模式——流聚合
摘要：Storm常见模式——流聚合 流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。 从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非 阅读全文
posted @ 2017-03-03 16:14 不可替代的毛线 阅读(259) 评论(0) 推荐(0)
KafkaOffsetMonitor
摘要：概览 kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西， 阅读全文
posted @ 2017-03-03 16:11 不可替代的毛线 阅读(265) 评论(0) 推荐(0)
LinkedIn是如何优化Kafka的
摘要：作者 张卫滨 发布于 2015年9月21日 转载 在LinkedIn的数据基础设施中，Kafka是核心支柱之一。来自LinkedIn的工程师曾经就Kafka写过一系列的专题文章，包括它的现状和未来、如何规模化运行、如何适应LinkedIn的开源策略以及如何适应整体的技术栈等。近日，来自LinkedI 阅读全文
posted @ 2017-03-03 16:08 不可替代的毛线 阅读(341) 评论(0) 推荐(0)
数据实时分析平台 Heron
摘要：Twitter发布了新开发的数据实时分析平台Heron，以下为官方文档摘译： 我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样，实时分析这些事件是一个巨大的挑战。目前，我们主要的分析平台是开源的分布式流计算系统Storm。但是随着Twitter数据规模变大和多样化，我们的需求已经发生了 阅读全文
posted @ 2017-03-03 16:06 不可替代的毛线 阅读(764) 评论(0) 推荐(0)
使用JMX监控Kafka
摘要：监控数据源 JMX RMI方式启动Broker,Consumer,Producer 通过JMX RMI方式连接 监控数据 broker bean name: kafka:type=kafka.SocketServerStats（每次启动都会清空这部分数据） bean name: kafka:type 阅读全文
posted @ 2017-03-03 16:05 不可替代的毛线 阅读(6205) 评论(0) 推荐(0)