Annaprincess - 博客园

2025年4月7日

摘要：数据分析本例：求同一个小时内的用户数量其实就是通过mapreduce将同一小时数的用户进行合并（1）mapper类 import java.io.IOException; import java.net.URI; import java.util.HashMap; import org.apa 阅读全文

posted @ 2025-04-07 00:21 Annaprincess 阅读(15) 评论(0) 推荐(0)

数据转换

摘要：数据转换就是将原数据整理成想要的格式，和数据清洗有点像！比如：本案例数据转换前：每一列对应的含义：ip、时间、url 数据转换后：详细代码如下：代码思路和数据清洗一样 package com.simple.mr; import java.io.IOException; import ja 阅读全文

posted @ 2025-04-07 00:08 Annaprincess 阅读(26) 评论(0) 推荐(0)

2025年4月6日

数据清洗

摘要：数据清洗目的：就是从海量信息中筛选获取想要的信息（1）多获取信息进行解析 LogParser package com.simple.mr; import java.text.ParseException; import java.text.SimpleDateFormat; import jav 阅读全文

posted @ 2025-04-06 23:58 Annaprincess 阅读(35) 评论(0) 推荐(0)

文本合并与去重

摘要：文本合并与去重就是在同一个目录下的不同文件进行合并，并去重输出到一个文件里。本案例： import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path 阅读全文

posted @ 2025-04-06 23:29 Annaprincess 阅读(39) 评论(0) 推荐(0)

数据分区

摘要：数据分区 MapReduce如果不设置分区数量默认只有1个reducer所有任务都交给这个reducer 如果不设置分区方法默认用哈希方法：hash(key)%R 就是对键的哈希值取模reducer数量（R）来将任务分配给reducer 设置分区数量的方法： job.setNumReduceTask 阅读全文

posted @ 2025-04-06 23:18 Annaprincess 阅读(19) 评论(0) 推荐(0)

利用MapReduce进行去重

摘要：利用MapReduce进行去重对下列这段文本进行去重：解题思想：首先本题采用mapreduce那么肯定是要使用三个类：mapper，reducer和主启动类其实考察的点是：reduce合并的时候按key合并，key不变将相同key的value值合并，所以只需要将key当做文本内容，value 阅读全文

posted @ 2025-04-06 15:29 Annaprincess 阅读(37) 评论(0) 推荐(0)

junit单元测试总结

摘要： junit单元测试总结《JUnit 中常见的断言指令及示例》第一参数都可以为提示信息在 JUnit 测试框架中，断言指令用于验证程序的预期行为和实际行为是否一致。当断言失败时，JUnit 会抛出 AssertionError 异常，从而标记测试用例失败。下面为你介绍 TestMD.java 文阅读全文

posted @ 2025-04-06 10:43 Annaprincess 阅读(64) 评论(0) 推荐(0)

案例2最大公因数更相减损法

摘要：案例2最大公因数更相减损法主程序 package test; import java.util.Scanner; public class CommonDivisor { public static void main(String[] args) { int num1, num2, bcd; S 阅读全文

posted @ 2025-04-06 10:34 Annaprincess 阅读(16) 评论(0) 推荐(0)

案例三nextday

摘要：案例三nextday程序项目结构：、测试代码TestMD import junit.framework.TestCase; import org.junit.Test; import test.MyDateNew; import static org.junit.Assert.*; publi 阅读全文

posted @ 2025-04-06 10:24 Annaprincess 阅读(17) 评论(0) 推荐(0)

案例一24点游戏

摘要：任务要求：输入4个数字，进行+-*/各种运算拼凑出24 现在用junit测试看是否输入的4个数字能拼凑出24，还有就是对比满足条件的第一个式子是否为8/(3-8/3)即预期值8/(3-8/3) 项目框架：业务代码：实现24点（这个不是本课程重点） // // Calc24.java // // 阅读全文

posted @ 2025-04-06 09:10 Annaprincess 阅读(12) 评论(0) 推荐(0)

luckyyaoyao

公告