摘要: 在大数据时代,数据规模变得越来越大。由于数据的增长速度和非结构化的特性,常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理 和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统,以及这个过程中主要遭遇的一些挑战。实践主要立 足建立一套汽车状态... 阅读全文
posted @ 2015-10-22 18:57 jack_ou 阅读(3785) 评论(0) 推荐(0)
摘要: 1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(... 阅读全文
posted @ 2015-10-22 18:52 jack_ou 阅读(10730) 评论(0) 推荐(0)
摘要: 阅读目录Standard MBean与MXBean的区别实现Notification认证与授权JConsole Custom ClientWhat and Why JMXJMX的全称为Java Management Extensions. 顾名思义,是管理Java的一种扩展。这种机制可以方便的管理正... 阅读全文
posted @ 2015-10-22 18:28 jack_ou 阅读(461) 评论(0) 推荐(0)
摘要: 本博客对Gradle进行一个简单的介绍,以及它的安装。 Gradle介绍 Gradle是一个基于JVM的构建工具,它提供了: 像Ant一样,通用灵活的构建工具 可以切换的,基于约定的构建框架 强大的多工程构建支持 基于Apache Ivy的强大的依赖管理 支持maven, Ivy仓库 支持传递性依赖 阅读全文
posted @ 2015-10-22 16:49 jack_ou 阅读(239) 评论(0) 推荐(0)
摘要: Groovy入门教程kmyhy@126.com 2009-5-13一、groovy是什么简单地说,Groovy 是下一代的java语言,跟java一样,它也运行在 JVM 中。作为跑在JVM中的另一种语言,groovy语法与 Java 语言的语法很相似。同时,Groovy 抛弃了java烦琐的文法。... 阅读全文
posted @ 2015-10-22 14:16 jack_ou 阅读(321) 评论(0) 推荐(0)
摘要: 作者:George Ma 写这个 maven 的入门篇是因为之前在一个开发者会的动手实验中发现挺多人对于 maven 不是那么了解,所以就有了这个想法。 这个入门篇分上下两篇。本文着重动手,用 maven 来构建运行 hellow world 程序,体会一下不用任何 IDE ,只用 maven 是咋 阅读全文
posted @ 2015-10-22 13:55 jack_ou 阅读(352) 评论(0) 推荐(0)
摘要: 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://coolerfeng.blog.51cto.com/133059/50126Monit是一款功能非常丰富的进程、文件、目录和设备的监测软件,用于Unix平台。 它可以自动修复那些已经... 阅读全文
posted @ 2015-10-22 13:39 jack_ou 阅读(2005) 评论(0) 推荐(0)
摘要: 在linux下监控进程,可以使用inittab,最近找到了supervisor,也很好用,记录一下:1、系统要安装python,并安装与之对应的setuptools,下载地址在此2、安装:# sh setuptoolsxxxx.egg3、安装supervisor,下载地址在此,解压缩后# pytho... 阅读全文
posted @ 2015-10-22 11:31 jack_ou 阅读(1942) 评论(0) 推荐(0)
摘要: 作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html本文以Twitter... 阅读全文
posted @ 2015-10-22 11:27 jack_ou 阅读(1065) 评论(0) 推荐(0)
摘要: 问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a d 阅读全文
posted @ 2015-10-22 11:15 jack_ou 阅读(478) 评论(0) 推荐(0)