吴林祥

摘要： 见百度云盘 链接：https://pan.baidu.com/s/1iHo_2pCVSaLdlk_g40I9Kg 提取码：3xvh 阅读全文

摘要： 一、scrapy的安装 1、确定安装python以及pip 2、由于我是用的是pycharm开发工具编写，所以需要下载这个软件 3、scrapy安装 打开命令行界面输入 pip install scrapy即可安装。 4、验证是否安装成功 输入 scrapy若有如下内容则安装成功 二、scrapy工 阅读全文

摘要： 今天准备进行北京市政府信件列表界面信息的爬取，通过老师给的教程发现界面的跳转网址不会发生改变，原来的思路不可用，查询资料可以使用geckodeiver来驱动网页的自动跳转。参考博文：https://www.cnblogs.com/nuomin/p/8486963.html。 其次学习了爬取中需要用到 阅读全文

摘要： 1、将困扰了三天的sbt安装无反应问题解决（其实就是网络太差，换成4G热点即可下载） 2、完成实验五内容 ，了解了DataFrame、RDD编程操作。 阅读全文

摘要： 1、map（function） map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 val a = sc.parallelize(1 to 9, 3) val b = a.map(x => x*2)//x => x*2是 阅读全文

摘要： 无法下载无反应（未解决） 阅读全文

摘要： 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 将 源 文 件 保 存 为exercise2-1. 阅读全文

摘要： 安装环境:Ubuntu虚拟机。 1、Scala下载：https://www.scala-lang.org/download/2.11.8.html（本教程以2.11.8版本为例） 选择第一个后缀为tgz下载。 2、解压 3、配置scala环境变量，及验证是否成功 若不知道如何编辑vim保存并退出可移 阅读全文

摘要： 编辑 按i即可编辑 保存并退出 编辑完成后按Esc键，在界面左下角即可输入，输入：wq即可保存并退出。 阅读全文

摘要： Result文件数据说明： Ip：106.39.41.166,（城市） Date：10/Nov/2016:00:01:02 +0800,（日期） Day：10,（天数） Traffic: 54 ,（流量） Type: video,（类型：视频video或文章article） Id: 8701（视频或 阅读全文