谦寻

摘要： 07．Mapreduce实例——二次排序 实验目的 1.准确理解MapReduce二次排序的设计原理 2.了解二次排序的适用场景 3.熟练掌握MapReduce二次排序程序代码编写 实验原理 在Map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分 阅读全文

摘要： 06．Mapreduce实例——Reduce端join 实验目的 1.了解reduce端join的适用场景 2.准确理解reduce端join的设计原理 3.熟练掌握reduce端join程序代码的编写 实验原理 在Reudce端进行Join连接是MapReduce框架进行表之间Join操作最为常见 阅读全文

摘要： 05．Mapreduce实例——Map端join 实验目的 1.熟练掌握Map端join的程序编写 2.准确理解Map端join的设计原理 3.了解Map端join的适用场景 4.学会编写Map端join的程序代码解决实际问题 实验原理 MapReduce提供了表连接操作其中包括Map端join、R 阅读全文

摘要： 04．Mapreduce实例——单表join 实验目的 1.准确理解MapReduce单表连接的设计原理 2.熟练掌握MapReduce单表连接程序的编写 3.了解单表连接的运用场景 4.学会编写MapReduce单表连接程序代码解决问题 实验原理 以本实验的buyer1(buyer_id,frie 阅读全文

摘要： Mapreduce实例——排序 实验目的 1.准确理解Mapreduce排序的实验原理 2.熟练掌握Mapreduce排序的程序代码编写 3.培养编写MapReduce排序代码解决问题的能力 实验原理 Map、Reduce任务中Shuffle和排序的过程图如下： 流程分析： 1.Map端： （1）每 阅读全文

摘要： 02．Mapreduce实例——求平均值 实验目的 1.准确理解Mapreduce求平均值的设计原理 2.熟练掌握Mapreduce求平均值程序的编写 3.学会编写Mapreduce求平均值程序代码解决问题 实验原理 求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是M 阅读全文

摘要： 01.Mapreduce实例——去重 实验目的 1.准确理解MapReduce去重的设计原理 2.熟练掌握MapReduce去重的程序编写 3.学会自己编写MapReduce去重代码解决实际问题 实验原理 “数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个 阅读全文

摘要： 某高校欲开发一个成绩管理系统，记录并管理所有选修课程的学生的平时成绩和考试成绩，其主要功能描述如下： 1. 每门课程都有3到6个单元构成，每个单元结束后会进行一次测试，其成绩作为这门课程的平时成绩。课程结束后进行期末考试，其成绩作为这门课程的考试成绩。 2. 学生的平时成绩和考试成绩均由每门课程的主 阅读全文

摘要： 企业发票异常分析 一、数据说明： 1、数据组成 （1）增值税发票数据，文件名zzsfp （2）发票对应货物明细数据，文件名zzsfp_hwmx （3）企业信息，文件名nsrxx 2、数据字段说明 （1）zzsfp表字典 字段名称 字段含义 数据类型 备注 fp_nid 发票id String 发票唯 阅读全文

摘要： 实验环境： 1、操作系统：Linux（建议Ubuntu16.04）； 2、Hadoop版本：2.7.1； 3、MySQL版本：5.6； 4、HBase版本：1.1.2； 5、Redis版本：3.0.6； 6、MongoDB版本：3.2.6； 7、JDK版本：1.7或以上版本； 8、Java IDE： 阅读全文