摘要：
等价类划分法定义：将用户所有可能输入的数据，划分为若干中情况，把每一种情况找一些具有 代表性的数据作为测试用例，而这种选择测试类的方法，就叫做等价类划分，它是属于黑盒测试的； ****用等价类划分法解决下列问题**** NextDate 函数包含三个变量：month 、 day 和 year ，函数 阅读全文
posted @ 2020-02-24 22:24
daisy99lijing
阅读(1893)
评论(0)
推荐(0)
摘要：
1.可用性 场景 2020年2月6号博客园出现几分钟的全站访问故障 刺激源 开发人员的系统维护操作 刺激 一个索引修改的操作引发索引重建，造成数据库CPU100% 制品 系统数据库 环境 系统开发人员的修改操作 响应 系统检测到事件：记录故障，通知系统 响应度量 几分钟后，系统可以继续正常使用 2. 阅读全文
posted @ 2020-02-23 11:03
daisy99lijing
阅读(118)
评论(0)
推荐(0)
摘要：
（一）编程实现将 RDD 转换为 DataFrame 使用编程接口，构造一个 schema 并将其应用在已知的 RDD 上。 命令： 结果： （二）编程实现利用 DataFrame 读写 MySQL 的数据 数据库中已有的表： 对此表插入两个数据操作： 导包： 代码解说： 1.//下面我们设置两条数 阅读全文
posted @ 2020-02-12 19:39
daisy99lijing
阅读(174)
评论(0)
推荐(0)
摘要：
文件的存取都是在hdfs内完成 （一）数据去重： 程序： 操作： 结果： （二）求平均值 程序： 操作： 结果： 阅读全文
posted @ 2020-02-12 15:16
daisy99lijing
阅读(1005)
评论(0)
推荐(0)
摘要：
条件：maven、java应用程序代码、pom.xml -pom.xml文件 1 <project> 2 <groupId>edu.berkeley</groupId> 3 <artifactId>simple-project</artifactId> 4 <modelVersion>4.0.0</ 阅读全文
posted @ 2020-02-11 09:02
daisy99lijing
阅读(163)
评论(0)
推荐(0)
摘要：
问题分析： 对sbt版本结果没有影响，但是会影响后续的打包编译！！！！要命、 解决方法： 运行命令：sudo gedit ~/.bashrc 最后一行添加：TERM="${TERM/xterm-256color/xterm-color" 最后：source ~/.bashrc 实验结果： OK,sb 阅读全文
posted @ 2020-02-11 08:57
daisy99lijing
阅读(555)
评论(0)
推荐(0)
摘要：
启动hadoop-hdfs命令 退出hdfs: 启动spark命令： 退出： -ls：显示文件夹内容 -put:上传到hdfs上 -cat:显示文件内容 hdfs文件读取成功：三种方式，前提：运行hdfs 阅读全文
posted @ 2020-02-11 08:52
daisy99lijing
阅读(253)
评论(0)
推荐(1)
摘要：
词频统计： textFile包含了多行文本内容： textFile.flatMap(line => line.split(” “))会遍历textFile中的每行文本内容，当遍历到其中一行文本内容时，会把文本内容赋值给变量line，并执行Lamda表达式line => line.split(” “) 阅读全文
posted @ 2020-02-11 08:46
daisy99lijing
阅读(330)
评论(0)
推荐(0)
摘要：
问题： Spark惰性机制引起的：Input path does not exist 问题分析： val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件，必须以“file：///”开头 Spark的惰性机制：执行上面的命令不会马上 阅读全文
posted @ 2020-02-11 08:43
daisy99lijing
阅读(1410)
评论(0)
推荐(0)
摘要：
1.该系总共有多少学生 val lines = sc.textFile("file:///usr/local/spark/sparksqldata/Data01.txt") val par = lines.map(row=>row.split(",")(0)) val distinct_par = 阅读全文
posted @ 2020-02-06 22:30
daisy99lijing
阅读(1112)
评论(0)
推荐(0)
浙公网安备 33010602011771号