上一页 1 2 3 4 5 6 7 8 9 ··· 13 下一页
摘要: 见百度云盘 链接:https://pan.baidu.com/s/1iHo_2pCVSaLdlk_g40I9Kg 提取码:3xvh 阅读全文
posted @ 2020-02-04 20:38 Caper123 阅读(141) 评论(0) 推荐(0)
摘要: 一、scrapy的安装 1、确定安装python以及pip 2、由于我是用的是pycharm开发工具编写,所以需要下载这个软件 3、scrapy安装 打开命令行界面输入 pip install scrapy即可安装。 4、验证是否安装成功 输入 scrapy若有如下内容则安装成功 二、scrapy工 阅读全文
posted @ 2020-02-02 23:40 Caper123 阅读(304) 评论(0) 推荐(0)
摘要: 今天准备进行北京市政府信件列表界面信息的爬取,通过老师给的教程发现界面的跳转网址不会发生改变,原来的思路不可用,查询资料可以使用geckodeiver来驱动网页的自动跳转。参考博文:https://www.cnblogs.com/nuomin/p/8486963.html。 其次学习了爬取中需要用到 阅读全文
posted @ 2020-02-01 23:16 Caper123 阅读(178) 评论(0) 推荐(0)
摘要: 1、将困扰了三天的sbt安装无反应问题解决(其实就是网络太差,换成4G热点即可下载) 2、完成实验五内容 ,了解了DataFrame、RDD编程操作。 阅读全文
posted @ 2020-01-29 23:06 Caper123 阅读(127) 评论(0) 推荐(0)
摘要: 1、map(function) map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 val a = sc.parallelize(1 to 9, 3) val b = a.map(x => x*2)//x => x*2是 阅读全文
posted @ 2020-01-26 23:27 Caper123 阅读(201) 评论(0) 推荐(0)
摘要: 无法下载无反应(未解决) 阅读全文
posted @ 2020-01-26 17:08 Caper123 阅读(134) 评论(0) 推荐(0)
摘要: 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn,直到 Sn 刚好大于或等于 q为止,其中 q 为大于 0 的整数,其值通过键盘输入。 例 如 , 若 q 的 值 为 50.0 , 则 输 出 应 为 : Sn=50.416695 。 请 将 源 文 件 保 存 为exercise2-1. 阅读全文
posted @ 2020-01-22 09:20 Caper123 阅读(804) 评论(0) 推荐(0)
摘要: 安装环境:Ubuntu虚拟机。 1、Scala下载:https://www.scala-lang.org/download/2.11.8.html(本教程以2.11.8版本为例) 选择第一个后缀为tgz下载。 2、解压 3、配置scala环境变量,及验证是否成功 若不知道如何编辑vim保存并退出可移 阅读全文
posted @ 2020-01-21 17:08 Caper123 阅读(556) 评论(0) 推荐(0)
摘要: 编辑 按i即可编辑 保存并退出 编辑完成后按Esc键,在界面左下角即可输入,输入:wq即可保存并退出。 阅读全文
posted @ 2020-01-21 16:48 Caper123 阅读(3752) 评论(0) 推荐(0)
摘要: Result文件数据说明: Ip:106.39.41.166,(城市) Date:10/Nov/2016:00:01:02 +0800,(日期) Day:10,(天数) Traffic: 54 ,(流量) Type: video,(类型:视频video或文章article) Id: 8701(视频或 阅读全文
posted @ 2019-11-13 21:50 Caper123 阅读(459) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 8 9 ··· 13 下一页