Annaprincess - 博客园

2025年4月7日

摘要：多路输出这个案例的意思是输出结果不是都放在同一个文件里本案例要求同一个id的所有商品在同一个目录下，不同id在不同目录下，这些目录都在KeySpilt下除此之外还需要将所有商品的信息都备份一份放在AllPart目录下（1）mapper类 package com.simple; import 阅读全文

posted @ 2025-04-07 00:45 Annaprincess 阅读(26) 评论(0) 推荐(0)

数据分析

摘要：数据分析本例：求同一个小时内的用户数量其实就是通过mapreduce将同一小时数的用户进行合并（1）mapper类 import java.io.IOException; import java.net.URI; import java.util.HashMap; import org.apa 阅读全文

posted @ 2025-04-07 00:21 Annaprincess 阅读(26) 评论(0) 推荐(0)

数据转换

摘要：数据转换就是将原数据整理成想要的格式，和数据清洗有点像！比如：本案例数据转换前：每一列对应的含义：ip、时间、url 数据转换后：详细代码如下：代码思路和数据清洗一样 package com.simple.mr; import java.io.IOException; import ja 阅读全文

posted @ 2025-04-07 00:08 Annaprincess 阅读(30) 评论(0) 推荐(0)

2025年4月6日

数据清洗

摘要：数据清洗目的：就是从海量信息中筛选获取想要的信息（1）多获取信息进行解析 LogParser package com.simple.mr; import java.text.ParseException; import java.text.SimpleDateFormat; import jav 阅读全文

posted @ 2025-04-06 23:58 Annaprincess 阅读(41) 评论(0) 推荐(0)

文本合并与去重

摘要：文本合并与去重就是在同一个目录下的不同文件进行合并，并去重输出到一个文件里。本案例： import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path 阅读全文

posted @ 2025-04-06 23:29 Annaprincess 阅读(49) 评论(0) 推荐(0)

数据分区

摘要：数据分区 MapReduce如果不设置分区数量默认只有1个reducer所有任务都交给这个reducer 如果不设置分区方法默认用哈希方法：hash(key)%R 就是对键的哈希值取模reducer数量（R）来将任务分配给reducer 设置分区数量的方法： job.setNumReduceTask 阅读全文

posted @ 2025-04-06 23:18 Annaprincess 阅读(26) 评论(0) 推荐(0)

利用MapReduce进行去重

摘要：利用MapReduce进行去重对下列这段文本进行去重：解题思想：首先本题采用mapreduce那么肯定是要使用三个类：mapper，reducer和主启动类其实考察的点是：reduce合并的时候按key合并，key不变将相同key的value值合并，所以只需要将key当做文本内容，value 阅读全文

posted @ 2025-04-06 15:29 Annaprincess 阅读(47) 评论(0) 推荐(0)

junit单元测试总结

摘要： junit单元测试总结《JUnit 中常见的断言指令及示例》第一参数都可以为提示信息在 JUnit 测试框架中，断言指令用于验证程序的预期行为和实际行为是否一致。当断言失败时，JUnit 会抛出 AssertionError 异常，从而标记测试用例失败。下面为你介绍 TestMD.java 文阅读全文

posted @ 2025-04-06 10:43 Annaprincess 阅读(78) 评论(0) 推荐(0)

案例2最大公因数更相减损法

摘要：案例2最大公因数更相减损法主程序 package test; import java.util.Scanner; public class CommonDivisor { public static void main(String[] args) { int num1, num2, bcd; S 阅读全文

posted @ 2025-04-06 10:34 Annaprincess 阅读(24) 评论(0) 推荐(0)

案例三nextday

摘要：案例三nextday程序项目结构：、测试代码TestMD import junit.framework.TestCase; import org.junit.Test; import test.MyDateNew; import static org.junit.Assert.*; publi 阅读全文

posted @ 2025-04-06 10:24 Annaprincess 阅读(25) 评论(0) 推荐(0)

luckyyaoyao

公告