摘要：
1.作用使用crontab命令可以修改crontab配置文件，然后该配置由cron公用程序在适当的时间执行，该命令使用权限是所有用户。2.格式crontab [-u user] {-l | -r | -e}3.主要参数-e:执行文字编辑器来设定时程表，内空的文字编辑器是vi-r:删除目前的时程表-l 阅读全文
posted @ 2017-09-09 23:16
duan2
阅读(369)
评论(0)
推荐(0)
摘要：
shell日志采集 需求说明 点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上 需求分析 一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力，避开高峰期。 如果需要伪实时的上传，则采用定时上传的方式 技术分 阅读全文
posted @ 2017-09-09 21:53
duan2
阅读(831)
评论(0)
推荐(0)
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-09-09 21:22
duan2
阅读(1)
评论(0)
推荐(0)
摘要：
1.编程规范 （1）用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端) （2）Mapper的输入数据是KV对的形式（KV的类型可自定义） （3）Mapper的输出数据是KV对的形式（KV的类型可自定义） （4）Mapper中的业务逻辑写在map()方法 阅读全文
posted @ 2017-09-09 21:05
duan2
阅读(534)
评论(0)
推荐(0)
摘要：
简介： Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1为什么要MAPREDUCE （1）海量数据在 阅读全文
posted @ 2017-09-09 20:58
duan2
阅读(415)
评论(0)
推荐(0)
浙公网安备 33010602011771号