随笔分类 -  Big Data (Suro, Kafka, Hadoop, Spark, ES, Druid)

上一页 1 2 3
Suro, Kafka, Hadoop, Spark, ES, Druid
[Big Data - Kafka] Kafka设计解析（四）：Kafka Consumer解析
摘要：High Level Consumer 很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个Consumer消费（单播）或被所有Consumer消费（广播）。因此，Kafka High Level Consumer提供了一个 阅读全文
posted @ 2017-02-26 08:57 Jonson Li 阅读(234) 评论(0) 推荐(0)
[Big Data - Kafka] Kafka设计解析（三）：Kafka High Availability （下）
摘要：Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏 阅读全文
posted @ 2017-02-26 08:54 Jonson Li 阅读(189) 评论(0) 推荐(0)
[Big Data - Kafka] Kafka设计解析（二）：Kafka High Availability （上）
摘要：Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说， 阅读全文
posted @ 2017-02-26 08:53 Jonson Li 阅读(199) 评论(0) 推荐(0)
[Big Data - Kafka] Kafka剖析（一）：Kafka背景及架构介绍
摘要：Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏 阅读全文
posted @ 2017-02-26 08:41 Jonson Li 阅读(326) 评论(0) 推荐(0)
[Big Data - Codis] Codis集群的搭建与使用
摘要：一、简介 Codis是一个分布式的Redis解决方案，对于上层的应用来说，连接Codis Proxy和连接原生的Redis Server没有明显的区别（不支持的命令列表），上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，不停机的数据迁移等工作，所有后边的一切事情，对于前面 阅读全文
posted @ 2017-02-26 08:38 Jonson Li 阅读(418) 评论(0) 推荐(0)
[Big Data - ELK] ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
摘要：ELK平台介绍 在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自： http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错 阅读全文
posted @ 2017-02-26 08:27 Jonson Li 阅读(326) 评论(0) 推荐(0)
[Big Data - Codis, Mycat（cobar）] 企业互联网+转型实战：如何进行PB级别数据的架构变迁
摘要：随着DT时代的来临，数据对于企业经营决策的价值日益凸显，而企业在进行互联网+转型的过程中，如何让数据架构平滑迁移到大数据平台，对于传统业务的转型升级至关重要。企业IT部门该如何进行PB级别大数据平台的迁移规划呢，请看云智慧运维总监张克琛带来的经验分享。 提到PB级别的大数据解决方案市面上有很多，比较 阅读全文
posted @ 2017-02-26 08:25 Jonson Li 阅读(392) 评论(0) 推荐(0)
[Big Data - Suro] Netflix开源数据流管理器Suro
摘要：Netflix近日开源了一个叫做Suro的工具，公司可以利用它来做数据源主机到目标主机的实时定向。它不只在Netflix的数据管道上扮演重要角色，大规模下的应用场景同样令人印象深刻。 Netflix各种应用程序每天生成数百亿的事件，Suro可以在数据被发送之前收集到它们，然后部分经过Amazon S 阅读全文
posted @ 2017-02-26 08:15 Jonson Li 阅读(559) 评论(0) 推荐(0)

上一页 1 2 3