摘要: 原文出处: Andrew_liu python的网络变成比c语言简单许多, 封装许多底层的实现细节, 方便程序员使用的同时, 也使程序员比较难了解一些底层的东西, 我觉得学网络编程还是用c语言更好一点. 写这篇博文, 也希望回顾并整理一下以前学过的c语言和linux下一些东西, 会将一些Linux网 阅读全文
posted @ 2017-09-05 15:25 追梦的独行者 阅读(1342) 评论(0) 推荐(0) 编辑
摘要: 上一回, 我学会了 这一回, 开始用Python将伪代码中的所有部分实现. 由于文章的标题就是”零基础”, 因此会先把用到的两种数据结构队列和集合介绍一下. 而对于”正则表达式“部分, 限于篇幅不能介绍, 但给出我比较喜欢的几个参考资料. Python的队列 在爬虫程序中, 用到了广度优先搜索(BF 阅读全文
posted @ 2017-09-05 14:14 追梦的独行者 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 原文出处: Jecvay Notes (@Jecvay) 由于本学期好多神都选了Cisco网络课, 而我这等弱渣没选, 去蹭了一节发现讲的内容虽然我不懂但是还是无爱. 我想既然都本科就出来工作还是按照自己爱好来点技能吧, 于是我就不去了. 一个人在宿舍没有点计划好的事情做就会很容易虚度, 正好这个学 阅读全文
posted @ 2017-09-05 11:07 追梦的独行者 阅读(1579) 评论(0) 推荐(0) 编辑
摘要: 1、从提示看这应该是你在本地电脑启用了代理服务,这行提示的大概意思是无法打开日志文件(logfile),所以出现了错误提示。 2、我也有同样的问题,同样的错误提示,我按照错误路径可以找到错误文件,是因为开机启动了VPN,你尝试关闭开机启动试一下,其实这个完全不影响使用 阅读全文
posted @ 2017-09-05 08:52 追梦的独行者 阅读(8276) 评论(0) 推荐(0) 编辑
摘要: import urllib.robotparser >>> rp = urllib.robotparser.RobotFileParser() >>> rp.set_url("http://www.musi-cal.com/robots.txt") >>> rp.read() >>> rrate = 阅读全文
posted @ 2017-09-04 21:49 追梦的独行者 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 在windows环境,python3.5下使用命令行安装模块 pip install Twisted 会报错 Unable to find vcvarsall.bat 原因大概是和VC编译环境有关系,网上找了一堆方法,感觉编译环境这事太麻烦。找到最简单是方法是,先安装wheel模块,然后下载Twis 阅读全文
posted @ 2017-09-04 21:42 追梦的独行者 阅读(311) 评论(0) 推荐(0) 编辑
摘要: 我们先找个whl文件,我们在百度搜索python whl, 我们先找个whl文件,我们在百度搜索python whl, 打开连接我随便下载一个,但是要找到符合自己python版本,下载了一个组件多线程的功能 打开连接我随便下载一个,但是要找到符合自己python版本,下载了一个组件多线程的功能 下载 阅读全文
posted @ 2017-09-04 21:39 追梦的独行者 阅读(22011) 评论(0) 推荐(0) 编辑
摘要: 本文根据RFC2616(HTTP/1.1规范),参考 http://www.w3.org/Protocols/rfc2068/rfc2068 http://www.w3.org/Protocols/rfc2616/rfc2616 http://www.ietf.org/rfc/rfc3229.txt 阅读全文
posted @ 2017-09-04 20:31 追梦的独行者 阅读(14255) 评论(0) 推荐(0) 编辑
摘要: 学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。 第一步:分析网站的请求过程 我们在查看拉勾网上的招聘信息的时候,搜索Python,或者是PHP等等的岗位信息,其实是向服务器发出相应请求,由服务器动态的响应请求, 阅读全文
posted @ 2017-09-04 20:16 追梦的独行者 阅读(35671) 评论(1) 推荐(0) 编辑
摘要: 序 前面已经完成了简单网页以及伪装浏览器的学习。下面,实现对豆瓣首页所有图片爬取程序,把图片保存到本地一个路径下。 首先,豆瓣首页部分图片展示 这只是截取的一部分。下面给出,整个爬虫程序。 爬虫程序 这个爬取图片的程序采用伪装浏览器的方式,只不过是加了处理图片的模块。 爬取结果 (1)打印出来的信息 阅读全文
posted @ 2017-09-04 11:30 追梦的独行者 阅读(1193) 评论(0) 推荐(0) 编辑