哥不是小萝莉

摘要： 1.概述 在Hadoop应用，随着业务指标的迭代，而使其日趋复杂化的时候，管理Hadoop的相关应用会变成一件头疼的事情，如：作业的依赖调度，任务的运行情况的监控，异常问题的排查等，这些问题会是的我们日常的工作变得复杂。那么，在没有条件和精力去开发一套调度系统的情况下，我们去选择一款第三方开源的调... 阅读全文

摘要： 1.概述 最近，有小伙伴涉及到源码编译。然而，在编译期间也是遇到各种坑，在求助于搜索引擎，技术博客，也是难以解决自身所遇到的问题。笔者在被询问多次的情况下，今天打算为大家来写一篇文章来剖析下编译的细节，以及遇到编译问题后，应该如何去解决这样类似的问题。因为，编译的问题，对于后期业务拓展，二次开发，... 阅读全文

摘要： 1.概述 本课程的视频教程地址：《Kafka实战项目之编码实践》 该课程我以用户实时上报日志案例为基础，带着大家去完成各个KPI的编码工作，实现生产模块、消费模块，数据持久化，以及应用调度等工作， 通过对这一系列流程的演示，让大家能够去掌握Kafka项目的相关编码以及调度流程。下面，我们首先来预... 阅读全文

摘要： 1.概述 在接触了第一代MapReduce和第二代MapReduce之后，或许会有这样的疑惑，我们从一些书籍和博客当中获取MapReduce的一些原理和算法，在第一代当中会有JobTrack，TaskTrack之类的术语，在第二代会有ResourceManager，NodeManager，Appli 阅读全文

摘要： 1.概述 其实，在从事过调优相关的工作后，会发现其实调优是一项较为复杂的工作。而对于Hadoop这样复杂且庞大的系统来说，调优更是一项巨大的工作，由于Hadoop包含Common、HDFS、MapReduce、YARN等模块，每个模块都有可以根据自身业务进行优化的工作，本篇博客也是针对某些模块进行... 阅读全文

摘要： 1.概述 从HDFS的应用层面来看，我们可以非常容易的使用其API来操作HDFS，实现目录的创建、删除，文件的上传下载、删除、追加（Hadoop2.x版本以后开始支持）等功能。然而仅仅局限与代码层面是不够的，了解其实现的具体细节和过程是很有必要的，本文笔者给大家从以下几个方面进行剖析：Create... 阅读全文

摘要： 1.概述 JStorm 是一个类似于 Hadoop 的MapReduce的计算系统，它是由Alibaba开源的实时计算模型，它使用Java重写了原生的Storm模型（Clojure和Java混合编写的），并且再原来的基础上做了许多改进。用户只需按照指定的接口实现一个任务，然后将这个任务提交给JSt... 阅读全文

摘要： 1.概述 本课程的视频教程地址：《Kafka实战项目之分析与设计》 本课程我通过一个用户实时上报日志案例作为基础，带着大家去分析Kafka这样一个项目的各个环节，从而对项目的整体设计做比较合理的规划，最终让大家能够通过本课程去掌握类似Kafka项目的分析与设计。下面，我给大家介绍本课程包含的课时... 阅读全文

摘要： 1.概述 最近在和人交流时谈到数据相似度和数据共性问题，而刚好在业务层面有类似的需求，今天和大家分享这类问题的解决思路，分享目录如下所示：业务背景编码实践预览截图 下面开始今天的内容分享。2.业务背景 目前有这样一个背景，在一大堆数据中，里面存放着图片的相关信息，如下图所示： 上图只是给大家... 阅读全文

摘要： 1.概述 在《高可用Hadoop平台－Oozie工作流》一篇中，给大家分享了如何去单一的集成Oozie这样一个插件。今天为大家介绍如何去使用Oozie创建相关工作流运行与Hadoop上，已经在创建过程当中需要注意的事项，下面是今天的分享目录：Oozie简介任务工作流截图预览 下面开始今天的内容分... 阅读全文