摘要： 1.安装Hadoop和Spark 已完成 hadoop安装教程：http://dblab.xmu.edu.cn/blog/2441-2 个人spark安装过程：https://www.cnblogs.com/gothic-death/p/12238633.html 2.HDFS常用操作 （1） 启动 阅读全文

摘要： 1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 将 源 文 件 保 存 为exer 阅读全文

摘要： 教程：http://dblab.xmu.edu.cn/blog/1327 安装IntelliJ IDEA 官网：https://www.jetbrains.com/idea/download/#section=linux cd ~/下载 sudo tar -zxvf ideaIC-2019.3.2. 阅读全文

摘要： 启动spark shell环境 加载本地文件 加载HDFS中的文件 启动Hadoop中的hdfs组件 把本地文件上传到hdfs 加载hdfs中的文件并统计词频 查看保存的内容 阅读全文

摘要： 教程：http://dblab.xmu.edu.cn/blog/1307-2/ 下载地址：http://spark.apache.org/downloads.html 点击下载，在跳出的网页中选择一个链接 下载后，将其解压到选定文件夹(我的是/usr/local) 重命名并设置权限 修改配置文件sp 阅读全文

摘要： 主要查看教程： https://www.runoob.com/scala/scala-tutorial.html http://dblab.xmu.edu.cn/blog/spark 参考： https://scala-lang.org/files/archive/spec/2.13 变量：val类 阅读全文

摘要： 安装Scala 前提：jdk 1.5 以上版本 Windows Scala官网地址： https://www.scala-lang.org/download 下载最新的msi文件 运行下好的msi文件，一直点next就行 选择安装目录 安装完成后，环境变量会自动配置，打开PATH就可以看到最下面一行 阅读全文

摘要： Result文件数据说明： Ip：106.39.41.166,（城市） Date：10/Nov/2016:00:01:02 +0800,（日期） Day：10,（天数） Traffic: 54 ,（流量） Type: video,（类型：视频video或文章article） Id: 8701（视频或 阅读全文

摘要： 实验目的1.准确理解Mapreduce的设计原理2.熟练掌握WordCount程序代码编写3.学会自己编写WordCount程序进行词频统计实验原理MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最 阅读全文

摘要： 一、我觉得收获最大的是： 1、通过课堂练习，我在过去的知识上做了补充，提升了自己的能力 2、通过对团队项目的开发，我对项目开发的过程有了更加清晰的认识，认识到了团队中交流与合作的重要性，也学习了一些新的知识。 二、下学期需要改进的是： 1、课堂练习上由于之前的代码没有规划清楚，在有续题的时候还要重新 阅读全文