摘要：
1、连接数据库 服务器 -> 定义数据库连接2、新建报表 文件 -> 新建普通报表3、添加数据集 选择 模板数据集 -> 选择数据库 -> 写sql语句 ->预览 注意：数据集可以添加多个4、设计报表 (交叉式报表) 合并单元格 设置斜线 填写内容 注意单元格属性的扩展方向 设置F(x) 设置两个数 阅读全文
posted @ 2020-09-18 13:29
市丸银
阅读(902)
评论(0)
推荐(0)
摘要：
一、需求 去掉日志，小于11个 二、代码 1、Mapper package com.wt.etl; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apach 阅读全文
posted @ 2020-09-11 07:45
市丸银
阅读(108)
评论(0)
推荐(0)
摘要：
1、采样枚举的方式统计 enum MyCounter{MALFORORMED, NORMAL} // 对枚举定义的自定义计数器加1 context.getCounter(MyCounter.MALFORORMED).increment(1) 2、采样计数组、计数器名称的方式统计 context.ge 阅读全文
posted @ 2020-09-11 07:22
市丸银
阅读(178)
评论(0)
推荐(0)
摘要：
一、需求分析 1、需求 与Reduce join的需求一致 2、分析 a、在mapper的setup加载缓存，设置 kv 键值对 b、在map()方法中根据pid 获取 panme 根据上面的k v c、写driver，设置reducenum为 0 ，使用缓存文件 二、代码 1、Driver pac 阅读全文
posted @ 2020-09-10 07:54
市丸银
阅读(202)
评论(0)
推荐(0)
摘要：
一、基础 1、Reduce join 会给Reduce带来过多的负载，容易使数据发生倾斜 2、Map join 适用于一张小表和一张大表 二、实现 1、在Mapper的setup阶段，将文件读取到缓存集合中(小文件) 2、在驱动函数中加载缓存 job.addCacheFile(new URI(路径) 阅读全文
posted @ 2020-09-09 23:11
市丸银
阅读(397)
评论(0)
推荐(0)
摘要：
一、需求分析 1、需求 order.txt id pid amount 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 pd.txt pid pname 01 小米 02 华为 03 格力 两张表合并成order.txt中的pi 阅读全文
posted @ 2020-09-08 23:52
市丸银
阅读(146)
评论(0)
推荐(0)
摘要：
一、Map端的主要工作 为来自不同表或文件的key/value对，打标签以区别不同来源的记录。 然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 二、Reduce端的主要工作 在Reduce端以连接字段作为key的分组已经完成， 我们只需要在每一个分组当中将那些来源于不同 阅读全文
posted @ 2020-09-08 22:07
市丸银
阅读(106)
评论(0)
推荐(0)
摘要：
一、需求分析 1、内容 http://www.baidu.com http://www.google.com http://cn.bing.com http://www.atguigu.com http://www.sohu.com http://www.sina.com http://www.si 阅读全文
posted @ 2020-09-08 20:55
市丸银
阅读(233)
评论(0)
推荐(0)
摘要：
一、基础知识 OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口 二、常见的OutputFormat实现类 1、TextOutputFormat 默认的输出格式是TextOutputFormat，它把每条记录写在文本行。 它的键 阅读全文
posted @ 2020-09-08 12:57
市丸银
阅读(436)
评论(0)
推荐(0)
摘要：
一、MapTask工作机制 二、Reduce Task 阅读全文
posted @ 2020-09-08 00:05
市丸银
阅读(269)
评论(0)
推荐(0)
浙公网安备 33010602011771号