随笔档案「2015年10月」 - Yudar

摘要：jwt 用于生成web toke的类库http://jwt.io/jasypt java加密类库http://www.jasypt.org/ 阅读全文

posted @ 2015-10-30 12:02 Yudar 阅读(180) 评论(0) 推荐(0)

摘要：你是否有这样子的需求，只是想简单的写写文章，记录下自己的学习心得、成长经历等，都是些文字内容，不需要配置使用数据库、不想购买服务器自己搭建站点，只是想安安静静的用比较舒服的方式来写篇文章。静态博客就是为此而生的，不用配置服务器、不用数据库、访问速度相当快、没有不安全漏洞的说法，最重要的，对于一个经常... 阅读全文

posted @ 2015-10-15 18:49 Yudar 阅读(2114) 评论(1) 推荐(1)

高效使用github

摘要：下面两个资料是我在github上面整理出来的repo，不断进行更新，将遇到的有帮助的文章尽量整理到上面，方便初学者也方便回顾学习。如果恰好你也有一些资料文章，欢迎fork - modify - pull request一起学习分享。github 学习指南github 入门使用教程-图文并茂很简洁的说... 阅读全文

posted @ 2015-10-15 18:45 Yudar 阅读(466) 评论(0) 推荐(0)

虚拟机性能监控与故障排查工具介绍

摘要：本文来读书籍《深入理解java虚拟机-JVM高级特性与最佳实践》的阅读笔记，并且对虚拟机性能监控与故障排查一节做了内容整理。关于导图中的两部分内容还是希望大家能够亲自测试体验下，在网上也有不少的文章介绍，这里摘录几篇个人认为不错的文章，供参考：jstat/jinfo/jstack/jmap命令行工具... 阅读全文

posted @ 2015-10-15 18:43 Yudar 阅读(538) 评论(0) 推荐(0)

jstorm开发指南-写个简单的jstorm应用

摘要：jstorm开发指南-写个简单的jstorm应用发表于 2015-07-18 | 分类于大数据 | 暂无评论jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：开发非常迅速: 接口简单，容易上手，只要遵守Topology，Spout， Bol... 阅读全文

posted @ 2015-10-15 18:41 Yudar 阅读(2758) 评论(0) 推荐(1)

列式存储hbase系统架构学习

摘要：一、Hbase简介HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存... 阅读全文

posted @ 2015-10-15 18:40 Yudar 阅读(561) 评论(0) 推荐(0)

使用Phoenix通过sql语句更新操作hbase数据

摘要：hbase 提供很方便的shell脚本，可以对数据表进行 CURD 操作，但是毕竟是有一定的学习成本的，基本上对于开发来讲，sql 语句都是看家本领，那么，有没有一种方法可以把 sql 语句转换成 hbase的原生API呢？这样就可以通过普通平常的 sql 来对hbase 进行数据的管理，使用成本... 阅读全文

posted @ 2015-10-15 18:39 Yudar 阅读(3369) 评论(0) 推荐(0)

分布式实时日志系统（四）环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建

摘要：一、hbase简介HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存... 阅读全文

posted @ 2015-10-15 18:38 Yudar 阅读(465) 评论(0) 推荐(0)

布式实时日志系统（三）环境搭建之centos 6.4下hadoop 2.5.2完全分布式集群搭建最全资料

摘要：最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费... 阅读全文

posted @ 2015-10-15 18:36 Yudar 阅读(522) 评论(0) 推荐(0)

分布式实时日志系统（二）环境搭建之 flume 集群搭建/flume ng资料

摘要：最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费... 阅读全文

posted @ 2015-10-15 18:34 Yudar 阅读(599) 评论(0) 推荐(0)

分布式实时日志系统（一）环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

摘要：最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费... 阅读全文

posted @ 2015-10-15 18:31 Yudar 阅读(3464) 评论(0) 推荐(0)

Esper学习之十五：Pattern（二）

摘要：上一篇开始了新一轮语法——Pattern的讲解，一开始为大家普及了几个基础知识，其中有说到操作符。当时只是把它们都列举出来了，所以今天这篇就是专门详解这些操作符的，但是由于篇幅限制，本篇先会讲几个，剩余的后面几篇会逐个讲解。1. Followed-by 如果各位有看过官方文档，应该会发现Follow... 阅读全文

posted @ 2015-10-12 19:55 Yudar 阅读(672) 评论(0) 推荐(0)

Esper学习之十四：Pattern（一）

摘要：1. Pattern Atoms and Pattern operatorsPattern是通过原子事件和操作符组合在一起构成模板。原子事件有3类，操作符有4类，具体如下：原子事件：1).普通事件：包括POJO，Map，Array，XML2).时间事件：包括间隔n个时间单位、crontab3).自定... 阅读全文

posted @ 2015-10-12 19:54 Yudar 阅读(868) 评论(0) 推荐(0)

Esper学习之十三：EPL语法（九）

摘要：距离上一篇博客已经有很多个月的时间了，由于工作的原因，没怎么腾出手来写博客。再加上自己已计划算法学习为第一要务，更新博客的事情暂时就放缓了脚步。所以各位童鞋大可不必等我的博客，先把文档看起来，有什么不懂的先记下来，可以私信问我也可以等文章出来后再理解一遍，这样就不耽误大家的学习了。上一篇我们说到了... 阅读全文

posted @ 2015-10-12 19:53 Yudar 阅读(982) 评论(0) 推荐(0)

Esper学习之十二：EPL语法（八）

摘要：今天的内容十分重要，在Esper的应用中是十分常用的功能之一。它是一种事件集合，我们可以对这个集合进行增删查改，所以在复杂的业务场景中我们肯定不会缺少它。它就是Named Window。由于本篇篇幅较长，希望各位童鞋慢慢阅读，并仔细研究文档中或者我给出的例子。1.Create Named Win... 阅读全文

posted @ 2015-10-12 19:52 Yudar 阅读(1030) 评论(0) 推荐(0)

Esper学习之十一：EPL语法（七）

摘要：上一篇说到了EPL如何访问关系型数据库这种数据源，实际上别的数据源，比如：webservice、分布式缓存、非关系型数据库等等，Esper提供了统一的数据访问接口。然后今天会讲解如何创建另外一种事件类型——Schema。1.Joining Method Invocation Results和执行sq... 阅读全文

posted @ 2015-10-12 19:51 Yudar 阅读(643) 评论(0) 推荐(0)

Esper学习之十：EPL语法（六）

摘要：在esper的文档中，epl访问数据库的配置放在了比较靠后的位置，不过为了方便各位学习，这里会先说明和数据库交互的相关配置，然后再说epl怎么访问数据库。配置文件在官方esper包的etc文件夹下，大家可以参考着学习。1.连接数据库a.JNDI获取连接配置如下：[html]view plainco... 阅读全文

posted @ 2015-10-12 19:49 Yudar 阅读(842) 评论(0) 推荐(0)

Esper学习之九：EPL语法（五）

摘要：本篇的内容主要包括了Subquery（也就是子查询）和Join，内容不少，但是不难，基本上和sql差不太多。1.SubqueryEPL里的Subquery和sql的类似，是否比sql的用法更多我不得而知，毕竟本人是sql菜鸟，只在where语句里用过子查询。废话不多说，先上几个Subquer的简单用... 阅读全文

posted @ 2015-10-12 19:48 Yudar 阅读(780) 评论(0) 推荐(0)

Esper学习之八：EPL语法（四）

摘要：关于EPL，已经写了三篇了，预估计了一下，除了今天这篇，后面还有5篇左右。大家可别嫌多，官方的文档对EPL的讲解有将近140页，我已经尽量将废话都干掉了，再配合我附上的例子，看我的10篇文章比那140页英文文档肯定舒服多了吧。也请各位原谅我一周一篇的速度，毕竟我还要学习，生活，工作，一个都不能少。 ... 阅读全文

posted @ 2015-10-12 19:47 Yudar 阅读(837) 评论(0) 推荐(0)

Esper学习之七：EPL语法（三）

摘要：1.Aggregation和SQL一样，EPL也有Aggregation，即聚合函数。语法如下：[plain]view plaincopyaggregate_function([all|distinct]expression)aggregate_function就是聚合函数的名字，比如avg，sum... 阅读全文

posted @ 2015-10-12 19:45 Yudar 阅读(849) 评论(0) 推荐(0)

Esper学习之六：EPL语法（二）

摘要：从上一篇开始说EPL的语法，主要是关于注解的。今天来说说比较常用的语法，Select Clause和From Clause。这个两个可以说是写EPL必备，要想得到事件流的处理结果，基本上就靠他们俩了（Pattern除外）。今天的内容比较简单，还请各位同学牢记，以免以后应用的时候花时间看文档或者我的文... 阅读全文

posted @ 2015-10-12 19:44 Yudar 阅读(899) 评论(0) 推荐(0)

Esper学习之五：EPL语法（一）

摘要：上篇说到了Esper的Context，要是不了解的同学请参看《Esper学习之四：Context》，看过的同学如果还是不理解的话可以给我评论，我将会尽可能的解答。之前有些同学问我Context和Group by有什么区别，其实如果只是很简单的用Context，那么确实没太大区别，无非是在Contex... 阅读全文

posted @ 2015-10-12 19:18 Yudar 阅读(1571) 评论(0) 推荐(0)

Esper学习之四：Context

摘要：Context是Esper里一个很有意思的概念，要是理解为上下文，我觉得有点不妥。以我的理解，Context就像一个框，把不同的事件按照框的规则框起来，并且有可能有多个框，而框与框之间不会互相影响。不知道各位在看完这篇文章后是否认同我的观点，我愿洗耳恭听。1.Context基本语法语法结构如下[pl... 阅读全文

posted @ 2015-10-12 19:16 Yudar 阅读(817) 评论(0) 推荐(0)

Esper学习之三：进程模型

摘要：之前对Esper所能处理的事件结构进行了概述，并结合了例子进行讲解，不清楚的同学请看Esper学习之二：事件类型。今天主要为大家解释一下Esper是怎么处理事件的，即Esper的进程模型。1.UpdateListenerUpdaterListener是Esper提供的一个接口，用于监听某个EPL在引... 阅读全文

posted @ 2015-10-12 19:15 Yudar 阅读(834) 评论(0) 推荐(0)

Esper学习之二：事件类型

摘要：Esper对事件有特殊的数据结构约定。能处理的事件结构有：POJO，java.util.Map，Object Array，XML1.POJO 对于POJO，Esper要求对每一个私有属性要有getter方法。Esper允许不必按照JavaBean规定的格式，但是getter方法是必须的。又或者可以在... 阅读全文

posted @ 2015-10-12 19:14 Yudar 阅读(1021) 评论(0) 推荐(0)

Esper学习之一：Esper介绍

摘要：CEP即Complex Event Process，中文意思就是“复杂事件处理”。听起来好像很复杂，实际上就是基于事件流进行数据处理，把要分析的数据抽象成事件，然后将数据发送到CEP引擎，引擎就会根据事件的输入和最初注册的处理模型，得到事件处理结果。有人可能要问了，这和Hadoop有什么区别？可是... 阅读全文

posted @ 2015-10-12 19:12 Yudar 阅读(3249) 评论(0) 推荐(1)