摘要：
前面介绍了docker的基本信息，这里简单介绍下，如何使用docker 1、安装 1）添加需要的docker资源。 2）提示要确认，我们enter回车等待完成。 3）接着需要更新系统资源。 4）现在我们就可以开始安装docker以及相关需要的包了。 apt-get install docker.io 阅读全文
posted @ 2019-05-21 16:17
-涂涂-
阅读(180)
评论(0)
推荐(0)
摘要：
mapreduce 全局变量共享 在编写MapReduce程序时，经常会遇到这样的问题，全局变量如何保存？如何让每个处理都能获取保存的这些全局变量？使用全局变量是不可避免的，但是 在MapRdeuce中直接使用代码级别的全局变量是不现实的。主要是因为继承Mapper基类的Map阶段类的运行和继承Re 阅读全文
posted @ 2019-05-20 22:45
-涂涂-
阅读(778)
评论(0)
推荐(0)
摘要：
一、mapreduce多job串联 1、需求 一个稍复杂点的处理逻辑往往需要多个 mapreduce 程序串联处理，多 job 的串联可以借助 mapreduce 框架的 JobControl 实现 2、实例 以下有两个 MapReduce 任务，分别是 Flow 的 SumMR 和 SortMR， 阅读全文
posted @ 2019-05-20 21:54
-涂涂-
阅读(216)
评论(0)
推荐(0)
摘要：
m apreduce三大组件：Combiner\Sort\Partitioner 默认组件：排序，分区（不设置，系统有默认值） 一、mapreduce中的Combiner 1、什么是combiner Combiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件， 阅读全文
posted @ 2019-05-20 21:51
-涂涂-
阅读(232)
评论(0)
推荐(0)
摘要：
MapReduce 程序的业务编码分为两个大部分，一部分配置程序的运行信息，一部分 编写该 MapReduce 程序的业务逻辑，并且业务逻辑的 map 阶段和 reduce 阶段的代码分别继 承 Mapper 类和 Reducer 类 1、mapreduce单词统计实例 reduce 二、mapre 阅读全文
posted @ 2019-05-20 21:45
-涂涂-
阅读(574)
评论(0)
推荐(0)
摘要：
1、实时处理框架 即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的 阅读全文
posted @ 2019-05-20 20:47
-涂涂-
阅读(1479)
评论(0)
推荐(0)
摘要：
数据分析一般分为两种，一种是在线一种是离线 流程： 一般都是对于日志文件的采集和分析 场景实例（某个电商网站产生的用户访问日志（access.log）进行离线处理与分析的过程） 1、需求： 基于MapReduce的处理方式，最后会统计出某一天不同省份访问该网站的uv与pv（pv就是点击量，uv是独立 阅读全文
posted @ 2019-05-20 19:46
-涂涂-
阅读(1015)
评论(0)
推荐(0)
摘要：
可一直不明白docker是什么，然后看了这篇文章（尾部链接），瞬间清醒了许多 1、简单介绍： 简单的说 docker类似于虚拟机，但是它更小，更轻便，更能适应单个应用（为其量身定做），一个机器上可以运行多个虚拟机，每个虚拟机都可以有不同的环境，都可以运行不同的应用，一个机器上可以运行多个docker 阅读全文
posted @ 2019-05-20 17:33
-涂涂-
阅读(260)
评论(0)
推荐(0)
摘要：
安装搭建： 1）解压下载的flume（安装jdk1.6及其以上） 2）在conf文件夹里面建立example.conf文件 3)启动flume 4）新建窗口运行 5）在该窗口输入，另一个窗口会输出记录 flume对接不同的数据源 1、Avro Source 监听AVRO端口来接受来自外部AVRO客户 阅读全文
posted @ 2019-05-20 16:27
-涂涂-
阅读(914)
评论(0)
推荐(0)
摘要：
一、python操作 二、命令行 参考： https://www.cnblogs.com/aademeng/articles/9779271.html https://baijiahao.baidu.com/s?id=1612042780837847633&wfr=spider&for=pc 阅读全文
posted @ 2019-05-18 19:37
-涂涂-
阅读(577)
评论(0)
推荐(0)