-涂涂-

2019年5月22日

摘要：环境： 1、kafka+zookeeper 2、window平台 3、eclipse 设置： 1、kafka和zookeeper安装，另一篇有介绍（https://www.cnblogs.com/51python/p/10870258.html） 2、eclipse代码（建立maven工程） pom 阅读全文

posted @ 2019-05-22 21:34 -涂涂- 阅读(669) 评论(0) 推荐(0)

linux 远程文件复制和拉取

摘要：基本命令格式上传 scp -r myfilder tiantian@192.168.168.221:/home/tiantian/temp/ 复制本地文件到远程/home/tiantian/temp/的文件目录下需要输入远程密码下载 scp -r tiantian@192.168.168.22 阅读全文

posted @ 2019-05-22 16:36 -涂涂- 阅读(2511) 评论(0) 推荐(0)

2019年5月21日

docker使用

摘要：前面介绍了docker的基本信息，这里简单介绍下，如何使用docker 1、安装 1）添加需要的docker资源。 2）提示要确认，我们enter回车等待完成。 3）接着需要更新系统资源。 4）现在我们就可以开始安装docker以及相关需要的包了。 apt-get install docker.io 阅读全文

posted @ 2019-05-21 16:17 -涂涂- 阅读(182) 评论(0) 推荐(0)

2019年5月20日

mapreduce 变量共享

摘要： mapreduce 全局变量共享在编写MapReduce程序时，经常会遇到这样的问题，全局变量如何保存？如何让每个处理都能获取保存的这些全局变量？使用全局变量是不可避免的，但是在MapRdeuce中直接使用代码级别的全局变量是不现实的。主要是因为继承Mapper基类的Map阶段类的运行和继承Re 阅读全文

posted @ 2019-05-20 22:45 -涂涂- 阅读(779) 评论(0) 推荐(0)

mapreduce 函数入门三

摘要：一、mapreduce多job串联 1、需求一个稍复杂点的处理逻辑往往需要多个 mapreduce 程序串联处理，多 job 的串联可以借助 mapreduce 框架的 JobControl 实现 2、实例以下有两个 MapReduce 任务，分别是 Flow 的 SumMR 和 SortMR，阅读全文

posted @ 2019-05-20 21:54 -涂涂- 阅读(216) 评论(0) 推荐(0)

mapreduce 函数入门二

摘要： m apreduce三大组件：Combiner\Sort\Partitioner 默认组件：排序，分区（不设置，系统有默认值）一、mapreduce中的Combiner 1、什么是combiner Combiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件，阅读全文

posted @ 2019-05-20 21:51 -涂涂- 阅读(233) 评论(0) 推荐(0)

mapreduce 函数入门一

摘要： MapReduce 程序的业务编码分为两个大部分，一部分配置程序的运行信息，一部分编写该 MapReduce 程序的业务逻辑，并且业务逻辑的 map 阶段和 reduce 阶段的代码分别继承 Mapper 类和 Reducer 类 1、mapreduce单词统计实例 reduce 二、mapre 阅读全文

posted @ 2019-05-20 21:45 -涂涂- 阅读(577) 评论(0) 推荐(0)

Flume+Kafka+Storm+Redis 大数据在线实时分析

摘要： 1、实时处理框架即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的阅读全文

posted @ 2019-05-20 20:47 -涂涂- 阅读(1480) 评论(0) 推荐(0)

mapReduce 大数据离线分析

摘要：数据分析一般分为两种，一种是在线一种是离线流程：一般都是对于日志文件的采集和分析场景实例（某个电商网站产生的用户访问日志（access.log）进行离线处理与分析的过程） 1、需求：基于MapReduce的处理方式，最后会统计出某一天不同省份访问该网站的uv与pv（pv就是点击量，uv是独立阅读全文

posted @ 2019-05-20 19:46 -涂涂- 阅读(1016) 评论(0) 推荐(0)

docker 简介

摘要：可一直不明白docker是什么，然后看了这篇文章（尾部链接），瞬间清醒了许多 1、简单介绍：简单的说 docker类似于虚拟机，但是它更小，更轻便，更能适应单个应用（为其量身定做），一个机器上可以运行多个虚拟机，每个虚拟机都可以有不同的环境，都可以运行不同的应用，一个机器上可以运行多个docker 阅读全文

posted @ 2019-05-20 17:33 -涂涂- 阅读(261) 评论(0) 推荐(0)

公告