摘要: 数据清洗 目的:就是从海量信息中筛选获取想要的信息 (1)多获取信息进行解析 LogParser package com.simple.mr; import java.text.ParseException; import java.text.SimpleDateFormat; import jav 阅读全文
posted @ 2025-04-06 23:58 Annaprincess 阅读(35) 评论(0) 推荐(0)
摘要: 文本合并与去重 就是在同一个目录下的不同文件进行合并,并去重输出到一个文件里。 本案例: import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path 阅读全文
posted @ 2025-04-06 23:29 Annaprincess 阅读(39) 评论(0) 推荐(0)
摘要: 数据分区 MapReduce如果不设置分区数量默认只有1个reducer所有任务都交给这个reducer 如果不设置分区方法默认用哈希方法:hash(key)%R 就是对键的哈希值取模reducer数量(R)来将任务分配给reducer 设置分区数量的方法: job.setNumReduceTask 阅读全文
posted @ 2025-04-06 23:18 Annaprincess 阅读(19) 评论(0) 推荐(0)
摘要: 利用MapReduce进行去重 对下列这段文本进行去重: 解题思想: 首先本题采用mapreduce那么肯定是要使用三个类:mapper,reducer和主启动类 其实考察的点是:reduce合并的时候按key合并,key不变将相同key的value值合并,所以只需要将key当做文本内容,value 阅读全文
posted @ 2025-04-06 15:29 Annaprincess 阅读(37) 评论(0) 推荐(0)
摘要: junit单元测试总结 《JUnit 中常见的断言指令及示例》 第一参数都可以为提示信息 在 JUnit 测试框架中,断言指令用于验证程序的预期行为和实际行为是否一致。当断言失败时,JUnit 会抛出 AssertionError 异常,从而标记测试用例失败。下面为你介绍 TestMD.java 文 阅读全文
posted @ 2025-04-06 10:43 Annaprincess 阅读(64) 评论(0) 推荐(0)
摘要: 案例2最大公因数更相减损法 主程序 package test; import java.util.Scanner; public class CommonDivisor { public static void main(String[] args) { int num1, num2, bcd; S 阅读全文
posted @ 2025-04-06 10:34 Annaprincess 阅读(16) 评论(0) 推荐(0)
摘要: 案例三nextday程序 项目结构: 、 测试代码TestMD import junit.framework.TestCase; import org.junit.Test; import test.MyDateNew; import static org.junit.Assert.*; publi 阅读全文
posted @ 2025-04-06 10:24 Annaprincess 阅读(17) 评论(0) 推荐(0)
摘要: 任务要求:输入4个数字,进行+-*/各种运算拼凑出24 现在用junit测试看是否输入的4个数字能拼凑出24,还有就是对比满足条件的第一个式子是否为8/(3-8/3)即预期值8/(3-8/3) 项目框架: 业务代码: 实现24点(这个不是本课程重点) // // Calc24.java // // 阅读全文
posted @ 2025-04-06 09:10 Annaprincess 阅读(12) 评论(0) 推荐(0)