随笔档案「2020年2月」 - 墨钺

2020春周学习进度1

摘要：这一周主要是完善假期的三个项目主要学习了Python和mysql的连接还有制作词云阅读全文

posted @ 2020-02-23 20:27 墨钺阅读(119) 评论(0) 推荐(0)

摘要：1.可用性刺激源：用户刺激：用户访问数量过多，导致系统崩溃或反应缓慢制品：服务器环境：正常模式响应：系统检测到访问量过大，记录情况并通知用户响应度量：短时间内恢复系统正常运行 2.可修改性刺激源：开发人员刺激：希望修改功能制品：淘宝网站环境：设计时响应：查找需要修改的位置，进行阅读全文

posted @ 2020-02-22 22:03 墨钺阅读(279) 评论(0) 推荐(0)

2020寒假学习进度笔记10

摘要：报错：Exception in thread "main" java.lang.VerifyError: class scala.collection.mutable.WrappedArray overrides final method toBuffer.()Lscala/collection/m 阅读全文

posted @ 2020-02-09 22:59 墨钺阅读(765) 评论(4) 推荐(0)

2020寒假学习进度笔记9

摘要：今天主要写了实验4的第一个题目 spark-shell 交互式编程请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom DataBase 80 Tom Algorithm 50 Tom DataStr 阅读全文

posted @ 2020-02-08 20:44 墨钺阅读(373) 评论(0) 推荐(0)

2020寒假学习进度笔记8

摘要：今天主要学的是RDD 参考教程： https://www.jianshu.com/p/6411fff954cf https://www.cnblogs.com/qingyunzong/p/8899715.html#_label0_0 RDD叫做弹性分布式数据集，是Spark中最基本的数据抽象。 RD 阅读全文

posted @ 2020-02-06 21:41 墨钺阅读(206) 评论(0) 推荐(0)

2020寒假学习进度笔记7：实验 3 Spark 和 Hadoop 的安装

摘要：1.安装Hadoop和Spark 已完成 hadoop安装教程：http://dblab.xmu.edu.cn/blog/2441-2 个人spark安装过程：https://www.cnblogs.com/gothic-death/p/12238633.html 2.HDFS常用操作（1）启动阅读全文

posted @ 2020-02-04 20:55 墨钺阅读(417) 评论(0) 推荐(0)

2020寒假学习进度笔记6：实验2-Scala编程初级实践

摘要：1. 计算级数请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。例如，若 q 的值为 50.0 ，则输出应为： Sn=50.416695 。请将源文件保存为exer 阅读全文

posted @ 2020-02-03 20:12 墨钺阅读(640) 评论(0) 推荐(0)

2020寒假学习进度笔记5：IntelliJ IDEA安装配置及编写spark应用程序（scala+maven）

摘要：教程：http://dblab.xmu.edu.cn/blog/1327 安装IntelliJ IDEA 官网：https://www.jetbrains.com/idea/download/#section=linux cd ~/下载 sudo tar -zxvf ideaIC-2019.3.2. 阅读全文

posted @ 2020-02-02 22:29 墨钺阅读(730) 评论(0) 推荐(0)

2020寒假学习进度笔记4：spark使用1

摘要：启动spark shell环境加载本地文件加载HDFS中的文件启动Hadoop中的hdfs组件把本地文件上传到hdfs 加载hdfs中的文件并统计词频查看保存的内容阅读全文

posted @ 2020-02-01 21:29 墨钺阅读(174) 评论(0) 推荐(0)