随笔分类 -  Hadoop

Relating to Hadoop,including topics like HBase, Alluxio etc.
Kylo 入坑记
摘要：一、概述 Kylo，作为一个基于 Spark 和 NiFi 的开源数据湖编排框架，解决对数据湖获取、治理、感知和技术支持等诸多问题。Kylo 将数据湖的很多功能自动化，包括数据接入、准备、分析发现、Profiling 和管理等等。Kylo 提供了符合业务分析人员思路的 GUI 界面以及 IT 运营和 阅读全文
posted @ 2017-06-14 11:33 NeilLee 阅读(8884) 评论(0) 推荐(0)
NiFi REST API 的使用
摘要：一、概述 为方便用户使用 NiFi 进行二次开发，NiFi 为开发者提供了 [NIFI REST API][nifi_rest_api]。 关于 API 的详细介绍，请参见官网 [NIFI REST API][nifi_rest_api]。这里仅给出一些注意的小细节。 二、注意事项 2.1 REST 阅读全文
posted @ 2017-06-14 11:24 NeilLee 阅读(4906) 评论(0) 推荐(0)
『NiFi 自定义 Processor 无法获取到 Logger』问题解决
摘要：一、概述 自定义的 Processor 继承了 AbstractProcessor，而 AbstractProcessor 继承了 AbstractSessionFactoryProcessor ， 方法位于 AbstractSessionFactoryProcessor 类中。 二、问题解决 该问 阅读全文
posted @ 2017-06-13 23:17 NeilLee 阅读(672) 评论(0) 推荐(0)
『NiFi 节点本地流与集群流不一致导致集群加入失败』问题解决
摘要：一、概述 在某些极端情况下，某些 NiFi 节点信息会由于用户强行 disconnect from cluster ，而出现 local flow 与 cluster 的 flow 不同步的问题。 此后，该问题节点再也无法正常同 cluster 建立连接，并且频繁报错：Failed to conne 阅读全文
posted @ 2017-06-13 23:08 NeilLee 阅读(1788) 评论(0) 推荐(1)
『NiFi 学习之路』简介
摘要：[『NiFi 学习之路』简介][1] [『NiFi 学习之路』入门 —— 下载、安装与简单使用][2] [『NiFi 学习之路』资源 —— 资料汇总][3] [『NiFi 学习之路』把握 —— 架构及主要组件][4] [『NiFi 学习之路』使用 —— 主要组件的使用][5] [『NiFi 学习之路 阅读全文
posted @ 2017-06-13 23:05 NeilLee 阅读(5601) 评论(0) 推荐(1)
『NiFi 学习之路』自定义 —— 组件的自定义及使用
摘要：一、概述 许多业务仅仅使用官方提供的组件不能够满足性能上的需求，往往要通过高度可定制的组件来完成特定的业务需求。 而 NiFi 提供了自定义组件的这种方式。 二、自定义 Processor 占坑待续 三、Debug Processor 目前似乎没有较好的方式，有一个邮件列表就此话题进行了探讨。 [G 阅读全文
posted @ 2017-06-13 22:58 NeilLee 阅读(2475) 评论(0) 推荐(0)
『NiFi 学习之路』使用 —— 主要组件的使用
摘要：一、概述 大部分 NiFi 使用者都是通过 NiFi 的 Processor 来实现自己的业务的。因此，我也主要就 NiFi 官方提供的 Porcessor 进行介绍。 二、Processor 如果你没有修改 Processor 的存放目录的话，Processor 被存放在 目录下，NiFi 被启动 阅读全文
posted @ 2017-06-13 22:48 NeilLee 阅读(2388) 评论(0) 推荐(0)
『NiFi 学习之路』把握 —— 架构及主要部件
摘要：一、概述 通过前面几篇文章的学习，相信你对 NiFi 有了一个基础性的了解。 是什么概念？ NiFi 系统中数据的传递方式是怎样的？ NiFi 的重要 Processor 有哪些？ Processor 间是以何种方式进行协作的？ 上述问题对于阅读并练习了前几章内容的你来说，应该都不难理解。 那么对于 阅读全文
posted @ 2017-06-13 22:45 NeilLee 阅读(4235) 评论(0) 推荐(0)
『NiFi 学习之路』资源 —— 资料汇总
摘要：一、概述 由于 NiFi 是一个比较新的开源项目，国内的相关资料少之又少。 加之，大家都知道，国内的那么些个教程，原创都只是停留在初级使用阶段，没有更多深入的介绍。 再者，其余的文章不是东抄抄就是西抄抄，有的是翻译国外的资料，蹩脚得很，还不如直接看英文原文呢。 二、资源列表 2.1 官方文档 官网： 阅读全文
posted @ 2017-05-11 16:07 NeilLee 阅读(2379) 评论(0) 推荐(0)
『NiFi 学习之路』入门 —— 下载、安装与简单使用
摘要：一、概述 “光说不练假把式。” 官网上的介绍多少让人迷迷糊糊的，各种高大上的词语仿佛让 NiFi 离我们越来越远。 实践是最好的老师。那就让我们试用一下 NiFi 吧！ 二、安装 由于我的整个学习和使用过程都是在 Linux 下完成，所以，整个教程也是面向 Linux 用户的。 其他系统下的使用方法 阅读全文
posted @ 2017-05-11 15:56 NeilLee 阅读(12277) 评论(0) 推荐(0)
Alluxio 安装与配置
摘要：一、概述 Alluxio, formerly Tachyon, enables any application to interact with any data from any storage system at memory speed.From http://www.alluxio.org/ 阅读全文
posted @ 2017-02-17 17:30 NeilLee 阅读(5053) 评论(0) 推荐(0)