02 2020 档案
质量属性Ⅰ
摘要:以淘宝网为例,描绘质量属性的六个常见属性场景 一:六个常见属性 包括可用性(Availability),可修改性(Modifiability),性能(Performance),安全性(Security),可测试性(Testability),易用性(Usability)。 二:场景分析 1.可用性:
阅读全文
寒假十八
摘要:今天对系统前端的导航栏进行了引入,选择的是layui进行了引用 代码: <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>Layui</title> <meta name="renderer" content="webkit"> <m
阅读全文
寒假十五
摘要:1.安装 Flume Flume 是 Cloudera 提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量 日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。Flume 的 核心是把数据从数据源收集过来,再送到目的地。请到 Flume 官网下载 Flume1.7.0 安
阅读全文
寒假十四
摘要:今天整了一下前端的界面,在搞导航栏完成了一部分,框架搭建起来了 暂时放下了第五个实验的第2题,开始做第三题: 第三题实验内容: 3. 编程实现利用 DataFrame 读写 MySQL 的数据 (1)在 MySQL 数据库中新建数据库 sparktest,再创建表 employee,包含下面两行数据
阅读全文
寒假十三
摘要:今天自己上网爬取了关于新型肺炎的疫情 程序为: import requestsimport reimport jsonimport timeimport csvimport datetimeimport ostime1 = datetime.datetime.now().strftime('%Y-%
阅读全文
寒假十二
摘要:3.编写独立应用程序实现求平均值问题 每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生 名字,第二个是学生的成绩;编写 Spark 独立应用程序求出所有学生的平均成绩,并输出到 一个新文件中。下面是输入文件和输出文件的一个样例,供参考。 Algorithm 成绩: 小明
阅读全文
寒假十一
摘要:2.编程实现将 RDD 转换为 DataFrame 源文件内容如下(包含 id,name,age): 1,Ella,36 2,Bob,29 3,Jack,29 请将数据复制保存到 Linux 系统中,命名为 employee.txt,实现从 RDD 转换得到 DataFrame,并按“id:1,na
阅读全文
寒假九
摘要:今天只完成了第四个实验的第2题,这也是一下午的结果,今天一下午彻底自闭了,程序总是出错,并且错误还一直解决不了。今天效率低的原因是一直报数组越界的错误,可是怎么看数据文件都没有错误。最后的最后,也就是刚才,无奈之下将文件重新写了一遍,这样结果才终于对了。 第二题实验内容: 2.编写独立应用程序实现数
阅读全文
寒假八
摘要:今天完成了spark的第三个实验。 第三个实验涉及到一些Hadoop的知识,大部分已经想不起来了,经过今天的练习又温习了一遍,同时也接触到了使用Spark对本地文件或者是hdfs文件的一些操作,比如获取文件的行数等。 将hdfs的文件处理做了一下回顾 查看文件是否存在: 1 import org.a
阅读全文
寒假七
摘要:针对任务三 其中运用到了容器 scala 中的所有集合类位于 scala.collection 或 scala.collection.mutable,scala.collection.immutable,scala.collection.generic 中 scala.collection.immu
阅读全文
寒假六
摘要:今天对于实验二的任务二进行了解决 2. 模拟图形绘制 对于一个图形绘制程序,用下面的层次对各种实体进行抽象。定义一个 Drawable 的特 质,其包括一个 draw 方法,默认实现为输出对象的字符串表示。定义一个 Point 类表示点, 其混入了 Drawable 特质,并包含一个 shift 方
阅读全文
寒假五
摘要:针对实验,学习了scala语言并自己独立完成任务 在网站:https://blog.csdn.net/s294878304/article/details/100014852中找到了需要用到的从键盘输入q 由于要保留小数点后六位所以在初始化的时候将Sn设置为0.000000 并调用do{}while
阅读全文
浙公网安备 33010602011771号