birdmmxx

摘要： 寒假第十三天 完成后面的实验报告 简单的RDD编程，由于在安装Spark的时候进行过RDD简单的了解，所以这个实验进行的非常顺利 3.编写独立应用程序实现求平均值问题 import org.apache.spark.SparkContext import org.apache.spark.Spark 阅读全文

摘要： 寒假第十二天 根据教程完成相关实验；基本的命令以及打包 由于都是简单的命令，没有出现复杂的问题。 阅读全文

摘要： 寒假第十一天 《厦门大学大数据教学》林子雨老师的实验教程 今天开始完成剩下的实验报告，对Scala有更加熟练的运用，但是由于之前有些东西没有安装完成，只是在Shell上写了一些代码，对其中的语法更加熟练的掌握了。 统计图形 统计学生成绩 出现的问题： 尝试自己写了第二个图像问题的代码，通过分析知道了 阅读全文

摘要： 寒假第十天 对于上次实验的错误提示参考了这篇博客有了新的发现 http://yusure.cn/backend/308.html 我直接测试能不能看到我的sbt版本号，结果可以看见，（但是不知道这样是不是真的有错误） 然后开始SbtEclipse全局安装，最开始出现了和教程不一样的提示信息 我以为安 阅读全文

摘要： 寒假第九天 昨天安装了很久了sbt，但是最后以失败结束，做到很晚，就忘了写日记记录了。 接下啦讲述一下我主要遇到的问题有哪些。 首先根据厦门大学大数据林子雨老师的教程，安装sbt但是会出现以下错误： 然后我另找了一个教程 https://blog.csdn.net/u013256816/articl 阅读全文

摘要： 寒假第八天 今天发现有一些实验报告没有完成，上面还有很多实验任务。 安装Scala。 困难：一直进不去官网，然后可以sbt，但是只有命令行可以用，很久才下载了一个安装包 写了一个最简单的Helo World程序。 阅读全文

摘要： 寒假第七天 对Spark进行下一步安装学习 创建RDD 并且进行了简单的RDD操作 //获取RDD文件textFile的第一行内容 textFile.first() //获取RDD文件textFile所有项的计数 textFile.count() //抽取含有“Spark”的行，返回一个新的RDD 阅读全文

摘要： 寒假第六天 今天开始初步学习Spark，根据林子雨老师的教程首先安装Spark,以及对Spark有了简单的了解。 Spark我的理解就是比Hadoop Mapreduce处理数据更快的一项技术，其实各个方面都差不多。然后在安装过程中遇到一点儿小问题。 1.下载解压根据林子雨老师的教程就是解压不进去， 阅读全文

摘要： 寒假第五天 尝试将更多数据导入到数据库中： 爬取携程 热门飞机航班按照每个热门城市前7页： 代码如下: import requests import re import pymysql import xlwt url = 'https://flights.ctrip.com/?' headers = 阅读全文

摘要： 寒假第四天 今天想的是怎么直接把爬取的数据保存在数据库中： 经过同学代码参考，学出爬取猫眼电影名称和上映时间保存在mysql数据库中 发现最主要的就是设置mysql连接，而且在mysql的语句中我也是修改了好多次，参考同学的语句就是不信，然后在网上也看到很多不一样的语句表达形式，最后碰巧遇到这中表达 阅读全文