摘要：
1.概述 Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预计会连续... 阅读全文
摘要：
1.概述 这个标题也是用血的教训换来的，希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述：Hive的结构Hive的基本操作Hive SelectHive JoinHive UDFHive的M/R使用Hive注意点优化及优化详情优化总结调优的经常手段解决Hiv... 阅读全文
摘要：
1.概要 到这一步，若是按照前面到文章一步走来，不出意外，我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参考一些其他的文章来分析，由于很多网站的日志KPI都大同小异，故有些指标直接在文中赘述了。2.流程背景前言目录日志分析概述需求分析源码2.1 背景 ... 阅读全文
摘要：
1.概要1.1HBase的使用场景 大数据量 （100s TB级数据） 且有快速随机访问的需求。 例如淘宝的交易历史记录。数据量巨大无容置疑，面向普通用户的请求必然要即时响应。 容量的优雅扩展。 大数据的驱使，动态扩展系统容量的必须的。例如：webPage DB。 业务场景简单，不需要关系... 阅读全文
摘要：
1.概述 在写这片博文时，我也是思绪良久，参考了不同语言的编码风格，最后总结出如何让自己的编码更加标准。2.基础 以Java的基础为例子来说明：文件编码格式为UTF-8package需要置于最顶层import包时，使用eclipse的快捷键（command＋1）倒入对应的包（这样我们可以不用考虑... 阅读全文
摘要：
1.概述 在写这篇文章时，我也是酝酿了许久；在平时编码时，也经常苦于如何命名让变量，函数及类变都优雅，美观。因为，有时候看回过头来看代码发现，一个变量或是函数名特别是有单词组合都时候，会觉得有些单词组合在一起，看起来很别扭。举个例子，如类型统计：typeStats，statsType，catego... 阅读全文
摘要：
有钱任性 如果觉得笔者的博客对您有所帮助，您可以尽您所能，小额犒赏博主。可以通过微信和支付宝赞助博主。 1.土豪随意（微信赞赏码） 2.微信 3.支付宝 阅读全文
摘要：
1.概述有时在安装某些软件的时候，会报错：Error: must have python development packages for 2.4, 2.5, 2.6 or 2.7. Could not find Python.h.Please install python2.4-devel, py... 阅读全文
摘要：
1.概述 使用hadoop已经有一段时间了，从最开始懵懂到迷茫，再到各种阅读与写作，再到如今各种组合应用，逐渐已经离不开hadoop了，hadoop在大数据行业的成功，加速了它本身的发展，各大社区都能见到hadoop的身影。现在hadoop的家族成员已经达到20多个了。 因此，对自己所掌握的知识... 阅读全文
摘要：
1.概述thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生产引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Sma... 阅读全文