会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
onionono
Royal Never Give Up!
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
4
5
6
7
8
2018年11月1日
【Python3爬虫】12306爬虫
摘要: 此次要实现的目标是登录12306网站和查看火车票信息。 具体步骤 一、登录 登录功能是通过使用selenium实现的,用到了超级鹰来识别验证码。没有超级鹰账号的先注册一个账号,充值一点题分,然后把下载这个Python接口文件,再在里面添加一个use_cjy的函数,以后使用的时候传入文件名就可以了(验
阅读全文
posted @ 2018-11-01 12:50 onionono
阅读(2614)
评论(12)
推荐(1)
2018年10月23日
【Python3爬虫】网易云音乐爬虫
摘要: 此次的目标是爬取网易云音乐上指定歌曲所有评论并生成词云 具体步骤: 一:实现JS加密 找到这个ajax接口没什么难度,问题在于传递的数据,是通过js加密得到的,因此需要查看js代码。 通过断掉调试可以找到数据是由core_8556f33641851a422ec534e33e6fa5a4.js?855
阅读全文
posted @ 2018-10-23 16:16 onionono
阅读(4123)
评论(4)
推荐(2)
2018年9月27日
GitHub入门教程
摘要: 首先你需要一个GitHub的账号,然后点击new repository新建一个公共仓库,如下图: 然后点击Create repository就可以了,这样我们就成功新建了一个公共仓库,那我们要怎么把代码上传到GitHub呢? 有两种办法,一种是使用Git,另一种是使用GitHubDesktop。(我
阅读全文
posted @ 2018-09-27 13:46 onionono
阅读(752)
评论(1)
推荐(1)
2018年9月2日
【Python3爬虫】网易云音乐歌单下载
摘要: 一、目标: 下载网易云音乐热门歌单 二、用到的模块: requests,multiprocessing,re。 三、步骤: (1)页面分析:首先打开网易云音乐,选择热门歌单,可以看到以下歌单列表,然后打开开发者工具 因此我们需要请求的url就是https://music.163.com/discov
阅读全文
posted @ 2018-09-02 13:50 onionono
阅读(4352)
评论(13)
推荐(3)
2018年8月23日
【Python3爬虫】下载酷狗音乐上的歌曲
摘要: 经过测试,可以下载要付费下载的歌曲(n_n) 准备工作:Python3.5+Pycharm 使用到的库:requests,re,json,time,fakeuseragent 步骤: 打开酷狗音乐的官网,输入想要搜索的歌曲(例如《天后》),然后回车搜索,得到如下页面: 右键检查或者按F12打开开发者
阅读全文
posted @ 2018-08-23 15:52 onionono
阅读(7413)
评论(17)
推荐(4)
2018年8月2日
【Python3爬虫】selenium入门
摘要: selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。 环境配置: 1、Windows系统
阅读全文
posted @ 2018-08-02 21:29 onionono
阅读(1763)
评论(0)
推荐(0)
2018年7月27日
【Python3爬虫】第一个Scrapy项目
摘要: Python版本:3.5 IDE:Pycharm 今天跟着网上的教程做了第一个Scrapy项目,遇到了很多问题,花了很多时间终于解决了== 一、Scrapy终端(scrapy shell) Scrapy终端是一个交互终端,供我们在未启动spider的情况下尝试及调试爬取代码。 其本意是用来测试提取数
阅读全文
posted @ 2018-07-27 11:19 onionono
阅读(2531)
评论(0)
推荐(0)
【Python3爬虫】Scrapy入门教程
摘要: Python版本:3.5 系统:Windows 一、准备工作 需要先安装几个库(pip,lxml,pywin32,Twisted,pyOpenSSL),这些都比较容易,如果使用的是Pycharm,就可以更方便的安装模块,在settings里可以选择版本进行下载。 如果在命令行模式下输入pip -V出
阅读全文
posted @ 2018-07-27 09:48 onionono
阅读(3845)
评论(0)
推荐(0)
上一页
1
···
4
5
6
7
8
公告