12 2021 档案

服务外包系统-软件需求分析+原型
摘要：【整体背景】 随着公司业务的发展以及在 AI 和人工智能领域的持续深入，需要把部分工作外包。外包可以更加有效的利用社会资源，优化资源利用率。但在外包实践中，遇到诸如任务跟踪，人员管理，资源访问控制的问题，希望开发一套外包人员管理平台，更好地管理人员和任务。 【问题说明】 在外包的过程中，主要遇到了如 阅读全文
posted @ 2021-12-12 23:17 学习中_1 阅读(734) 评论(0) 推荐(0)
Mapreduce实例——Reduce端join
摘要：实验目的 1.了解reduce端join的适用场景 2.准确理解reduce端join的设计原理 3.熟练掌握reduce端join程序代码的编写 实验原理 在Reudce端进行Join连接是MapReduce框架进行表之间Join操作最为常见的模式。 1.Reduce端Join实现原理 （1）Ma 阅读全文
posted @ 2021-12-11 16:09 学习中_1 阅读(124) 评论(0) 推荐(0)
Mapreduce实例——Map端join
摘要：1.熟练掌握Map端join的程序编写 2.准确理解Map端join的设计原理 3.了解Map端join的适用场景 4.学会编写Map端join的程序代码解决实际问题 实验原理 MapReduce提供了表连接操作其中包括Map端join、Reduce端join还有单表连接，现在我们要讨论的是Map端 阅读全文
posted @ 2021-12-11 14:33 学习中_1 阅读(188) 评论(0) 推荐(0)
Mapreduce实例——MapReduce自定义输出格式
摘要：实验目的 1.了解Hadoop自带的几种输出格式 2.准确理解MapReduce自定义输出格式的设计原理 3.熟练掌握MapReduce自定义输出格式程序代码编写 4.培养自己编写MapReduce自定义输出格式程序代码解决问题的能力 实验原理 1.输出格式：提供给OutputCollector的键 阅读全文
posted @ 2021-12-10 23:43 学习中_1 阅读(391) 评论(0) 推荐(0)
Mapreduce实例——MapReduce自定义输入格式
摘要：实验目的 1.了解Hadoop自带的几种输入格式 2.准确理解MapReduce自定义输入格式的设计原理 3.熟练掌握MapReduce自定义输入格式程序代码编写 4.培养自己编写MapReduce自定义输入格式程序代码解决实际问题 实验原理 1.输入格式：InputFormat类定义了如何分割和读 阅读全文
posted @ 2021-12-10 23:42 学习中_1 阅读(361) 评论(0) 推荐(0)
利用jieba分析词语频数
摘要：# 导入依赖 import jieba def fun(): # 读取文本 file = open("D:\\yx.txt", "r", encoding='utf-8').read() # 使用精确模式对文本进行分词 words = jieba.lcut(file) # 通过键值对的形式存储词语及 阅读全文
posted @ 2021-12-09 20:47 学习中_1 阅读(78) 评论(0) 推荐(0)
Mongo数据库实验
摘要：MongoDB数据库操作 Student文档如下: { “name”: “zhangsan”, “score”: { “English”: 69, “Math”: 86, “Computer”: 77 } } { “name”: “lisi”, “score”: { “English”: 55, “ 阅读全文
posted @ 2021-12-08 15:45 学习中_1 阅读(246) 评论(0) 推荐(0)
JFinal极速开发框架
摘要：任务一：导入JFinal工程 选择Maven项目导入 选择刚刚下载的demo 导入完成 按照教程启动 启动成功 任务二：阅读JFinal的源码并对每一部分的功能进行介绍 任务三：基于JFinal完成一个简单的学生信息管理系统 项目结构： 功能演示： 界面： 添加学生： 删除学生： 删除王五为例 修改 阅读全文
posted @ 2021-12-07 20:20 学习中_1 阅读(215) 评论(0) 推荐(0)
Guns快速开发
摘要：任务一：导入并配置Guns框架 下载Demo 导入项目 配置数据库 启动项目 启动成功 任务二：阅读Gans的源码并对每一部分的功能进行介绍 包 类/接口 功能 cn.stylefeng.guns GunsApplication SpringBoot方式启动类 GunsServletInitiali 阅读全文
posted @ 2021-12-07 20:17 学习中_1 阅读(312) 评论(0) 推荐(0)
HDFS与MAPREDUCE操作
摘要：二、实验内容 1.虚拟机集群搭建部署hadoop 安装VM 在VM中安装Linux 在linux中安装hadoop 2.HDFS文件操作 启动hadoop 上传文件 3.MAPREDUCE并行程序开发 3.1 求每年最高气温 import java.io.IOException; import or 阅读全文
posted @ 2021-12-06 23:53 学习中_1 阅读(78) 评论(0) 推荐(0)
Mapreduce实例——ChainMapReduce
摘要：实验目的 1.准确理解ChainMapReduce的设计原理 2.熟练掌握ChainMapReduce的程序代码编写 3.了解ChainMapReduce的使用场景 实验原理 一些复杂的任务难以用一次MapReduce处理完成，需要多次MapReduce才能完成任务。Hadoop2.0开始MapRe 阅读全文
posted @ 2021-12-06 23:40 学习中_1 阅读(85) 评论(0) 推荐(0)
Mapreduce实例——倒排索引
摘要：实验目的 1.了解倒排索引的使用场景 2.准确理解倒排索引的设计原理 3.熟练掌握MapReduce倒排索引程序代码编写 实验原理 "倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容 阅读全文
posted @ 2021-12-06 23:38 学习中_1 阅读(361) 评论(0) 推荐(0)
Mapreduce实例——二次排序
摘要：实验目的 1.准确理解MapReduce二次排序的设计原理 2.了解二次排序的适用场景 3.熟练掌握MapReduce二次排序程序代码编写 实验原理 在Map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时Input 阅读全文
posted @ 2021-12-06 23:36 学习中_1 阅读(116) 评论(0) 推荐(0)
Mapreduce实例——单表join
摘要：实验目的 1.准确理解MapReduce单表连接的设计原理 2.熟练掌握MapReduce单表连接程序的编写 3.了解单表连接的运用场景 4.学会编写MapReduce单表连接程序代码解决问题 实验原理 以本实验的buyer1(buyer_id,friends_id)表为例来阐述单表连接的实验原理。 阅读全文
posted @ 2021-12-06 23:31 学习中_1 阅读(59) 评论(0) 推荐(0)
Mapreduce实例——排序
摘要：验目的 1.准确理解Mapreduce排序的实验原理 2.熟练掌握Mapreduce排序的程序代码编写 3.培养编写MapReduce排序代码解决问题的能力 实验原理 Map、Reduce任务中Shuffle和排序的过程图如下： 流程分析： 1.Map端： （1）每个输入分片会让一个map任务来处理 阅读全文
posted @ 2021-12-06 23:30 学习中_1 阅读(232) 评论(0) 推荐(0)
Mapreduce实例——求平均值
摘要：实验目的 1.准确理解Mapreduce求平均值的设计原理 2.熟练掌握Mapreduce求平均值程序的编写 3.学会编写Mapreduce求平均值程序代码解决问题 实验原理 求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之 阅读全文
posted @ 2021-12-06 23:28 学习中_1 阅读(177) 评论(0) 推荐(0)
Mapreduce实例——去重
摘要：实验目的 1.准确理解MapReduce去重的设计原理 2.熟练掌握MapReduce去重的程序编写 3.学会自己编写MapReduce去重代码解决实际问题 实验原理 “数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞 阅读全文
posted @ 2021-12-06 23:24 学习中_1 阅读(166) 评论(0) 推荐(0)
智能大数据分析平台用例
摘要：用例编号：001 用例名称：导入数据 执行者 用户 前置条件 用户上传文件 后置条件 用户上传文件正确 涉众利益 用户：上传方便，步骤简单 基本路径 1.用户访问系统 2.系统提示用户上传文件 3.用户上传文件 4.系统验证文件类型 5.系统处理文件，导入数据库 6.提示用户导入完成，进行下一步操作 阅读全文
posted @ 2021-12-06 23:11 学习中_1 阅读(88) 评论(0) 推荐(0)
智能大数据分析平台数据流图
摘要：顶层数据流图： 一层数据流图： 阅读全文
posted @ 2021-12-06 23:10 学习中_1 阅读(312) 评论(0) 推荐(0)
大数据-企业异常发票分析
摘要：一、 数据说明： 1、数据组成 （1）增值税发票数据，文件名zzsfp （2）发票对应货物明细数据，文件名zzsfp_hwmx （3）企业信息，文件名nsrxx 2、数据字段说明 （1）zzsfp表字典 字段名称 字段含义 数据类型 备注 fp_nid 发票id String 发票唯一标识 xf_i 阅读全文
posted @ 2021-12-06 23:06 学习中_1 阅读(732) 评论(0) 推荐(0)
新闻分类词云图
摘要：实验步骤 1、数据导入展示： 将所有类别的新闻导入数据库中。以树形目录形式展示新闻类别，每个树形节点代表 新闻分类，括号中代表该类新闻的数量，选择每个新闻，以列表形式显示新闻标题，点击新 闻标题，可以查看详细信息。 2、文章统计： 统计各个类别的文章总数，以柱状图表示。 3、文章分词： 使用中文分词 阅读全文
posted @ 2021-12-06 22:45 学习中_1 阅读(153) 评论(0) 推荐(0)
智能大数据分析平台纸面原型
摘要： 阅读全文
posted @ 2021-12-02 12:51 学习中_1 阅读(29) 评论(0) 推荐(0)