08 2015 档案

分布式日志收集系统Apache Flume的设计详细介绍
摘要：问题导读： 1.Flume传输的数据的基本单位是是什么？ 2.Event是什么，流向是怎么样的？ 3.Source:完成对日志数据的收集，分成什么打入Channel中？ 4.Channel的作用是什么？ 5.取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器，由谁来完成 阅读全文
posted @ 2015-08-28 20:38 一人浅醉- 阅读(474) 评论(0) 推荐(0)
【Apache KafKa系列之一】KafKa安装部署
摘要：kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持H 阅读全文
posted @ 2015-08-27 17:48 一人浅醉- 阅读(386) 评论(0) 推荐(0)
通过实例让你真正明白mapreduce---填空式、分布（分割）编程
摘要：问题导读： 1.如何在讲mapreduce函数中的字符串等信息，输出到eclipse控制台？ 2.除了使用下文方法，还有其它方法输出到控制台？ 3.map中，系统默认接受的value值是什么？ 4.reduce输出不是自己想要的结果，可能的原因是什么？ mapreduce不是很好理解，为什么？ 因为 阅读全文
posted @ 2015-08-27 17:46 一人浅醉- 阅读(1182) 评论(0) 推荐(0)
Storm-0.9.0.1安装部署 指导
摘要：可以带着下面问题来阅读本文章： 1.Storm只支持什么传输 2.通过什么配置，可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上，UI无法正常工作为什么 2.Storm-0.9.0.1大概经过几个步骤 Twitter Storm更新0.9.0. 阅读全文
posted @ 2015-08-27 17:45 一人浅醉- 阅读(604) 评论(0) 推荐(0)
基于Flume的美团日志收集系统(一)架构和设计
摘要：问题导读： 1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？ 2.架构设计考虑需要考虑什么问题？ 3.Agent死机该如何解决？ 4.Collector死机是否会有影响？ 5.Flume-NG可靠性(reliability)方面做了哪些措施？ 美团的日志收集系统负责美团的所 阅读全文
posted @ 2015-08-27 17:43 一人浅醉- 阅读(1460) 评论(0) 推荐(0)
基于Flume的美团日志收集系统(二)改进和优化
摘要：问题导读： 1.Flume的存在些什么问题？ 2.基于开源的Flume美团增加了哪些功能？ 3.Flume系统如何调优？ 在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程 阅读全文
posted @ 2015-08-27 17:41 一人浅醉- 阅读(447) 评论(0) 推荐(0)
整体认识flume：Flume介绍、分布式安装、常见问题及解决方案
摘要：问题导读 1.什么是flume？ 2.flume包含哪些组件？ 3.Flume在读取utf-8格式的文件时会出现解析不了时间戳，该如何解决？ Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理， 阅读全文
posted @ 2015-08-27 17:39 一人浅醉- 阅读(1788) 评论(0) 推荐(0)
大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合
摘要：个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来阅 阅读全文
posted @ 2015-08-27 17:37 一人浅醉- 阅读(894) 评论(1) 推荐(0)
分布式发布订阅消息系统 Kafka 架构设计
摘要：我们为什么要搭建该系统 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。 活动流数据是所 阅读全文
posted @ 2015-08-23 11:00 一人浅醉- 阅读(492) 评论(0) 推荐(0)
Apache Kafka开发入门指南(2)
摘要：Apache Kafka目标是统一离线和在线处理，与Flume和Scribe相比较，Kafka在处理活动流数据方面更具优势。但是从架构的视野来看，Kafka与传统的消息系统（例如ActiveMQ或RabbitMQ）更相似一些。 注：Scribe是Facebook开源的日志收集系统，在Facebook 阅读全文
posted @ 2015-08-23 10:59 一人浅醉- 阅读(283) 评论(0) 推荐(0)
Apache Kafka开发入门指南(1)
摘要：Apache Kafka可以帮助你解决在发布/订阅架构中遇到消费数百万消息的问题。如今，商业应用、社交应用以及其它类型的应用产生的实时信息在不断增长，这些信息需要以简单的方式快速、可靠地路由到各种类型的接收者。在大多数情况下，产生信息和消费信息的应用都是自然分开的，彼此不可互相访问。需要一种机制，让 阅读全文
posted @ 2015-08-23 10:58 一人浅醉- 阅读(271) 评论(0) 推荐(0)
使用Storm实现实时大数据分析
摘要：摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。 简单和明了，Storm让大数据分析变得轻松加愉快。 阅读全文
posted @ 2015-08-23 10:55 一人浅醉- 阅读(759) 评论(0) 推荐(0)
实时计算storm流程架构总结
摘要：hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如HBase，便于后续的查询。 面对的大批量的数据的实时计算，storm实现了一个可扩展的、低 阅读全文
posted @ 2015-08-23 10:54 一人浅醉- 阅读(550) 评论(0) 推荐(0)
Spring Aop实例
摘要：在上篇博文中，我向大家介绍了Aop重要概念和教程，这回给出代码示例。 一、XML方式 1. TestAspect：切面类 [java] view plaincopy package com.spring.aop; import org.aspectj.lang.JoinPoint; import o 阅读全文
posted @ 2015-08-16 23:40 一人浅醉- 阅读(725) 评论(0) 推荐(0)
Spring Aop详尽教程
摘要：一、概念 AOP（Aspect Oriented Programming）：面向切面编程。 面向切面编程（也叫面向方面编程），是目前软件开发中的一个热点，也是Spring框架中的一个重要内容。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性，同时 阅读全文
posted @ 2015-08-16 23:38 一人浅醉- 阅读(4522) 评论(0) 推荐(3)
spring的@Transactional注解详细用法
摘要：概述 事务管理对于企业应用来说是至关重要的，即使出现异常情况，它也可以保证数据的一致性。Spring Framework对事务管理提供了一致的抽象，其特点如下： 为不同的事务API提供一致的编程模型，比如JTA(Java Transaction API), JDBC, Hibernate, JPA( 阅读全文
posted @ 2015-08-09 19:35 一人浅醉- 阅读(492342) 评论(5) 推荐(47)