秋华 - 博客园

摘要：数据清洗案例实操-复杂解析版 1．需求对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。（1）输入数据（2）期望输出数据都是合法的数据 2．实现代码（1）定义一个bean，用来记录日志数据中的各数据字段 package com.atguigu.ma 阅读全文

posted @ 2020-07-19 20:57 秋华阅读(352) 评论(0) 推荐(0)

Hadoop基础（二十八）：数据清洗（ETL）（一）简单解析版

摘要：数据清洗案例实操-简单解析版在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。 1．需求去除日志中字段长度小于等于11的日志。（1）输入数据（2）期望输出数据每行字段长度都大于阅读全文

posted @ 2020-07-19 20:49 秋华阅读(822) 评论(0) 推荐(0)

Hadoop基础（二十七）：计数器应用

摘要：阅读全文

posted @ 2020-07-19 20:36 秋华阅读(151) 评论(0) 推荐(0)

HADOOP MAPREDUCE（11）：Join应用

摘要： 1 Reduce Join Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中阅读全文

posted @ 2020-07-19 20:33 秋华阅读(193) 评论(0) 推荐(0)

HADOOP MAPREDUCE（10）：OutputFormat数据输出

摘要： 1 OutputFormat接口实现类 2 自定义OutputFormat 3 自定义OutputFormat案例实操 1．需求过滤输入的log日志，包含atguigu的网站输出到e:/atguigu.log，不包含atguigu的网站输出到e:/other.log。（1）输入数据（2）期望输阅读全文

posted @ 2020-07-19 20:27 秋华阅读(276) 评论(0) 推荐(0)

秋华

公告