08 2017 档案

摘要:一、必备知识 1.socket客户端: 阻塞式客户端: 伪非阻塞式: 2.IO多路复用加socket实现非阻塞 伪代码: 上边代码中,当对多个网站进行连接或爬取时,每一个单独的Url都不会阻塞,再通过select监测数据的变化,可以及时接收数据,又不会挡住后边Url的爬取工作,实现了简单的非阻塞的目 阅读全文
posted @ 2017-08-31 17:29 Mitsuis 阅读(234) 评论(0) 推荐(0)
摘要:参考博客:点击这里 一、scrapy安装配置 二、创建并运行scrapy python import scrapy 报错:from .. import etree ImportError: DLL load failed: 找不到指定的程序。 解决办法:由于本地缺少lxml文件或是lxml文件不符 阅读全文
posted @ 2017-08-31 14:21 Mitsuis 阅读(222) 评论(0) 推荐(0)
摘要:环境: python3、windows 模块:requests、BeautifulSoup 安装模块: 一、以汽车之家为例子,来一段简单的爬虫代码。 二、通过代码进行登录验证: 1.登录github: 首先我们进入github登录页面,输入错误的用户名以及密码,通过f12 NetWork一栏查看ht 阅读全文
posted @ 2017-08-28 15:55 Mitsuis 阅读(242) 评论(0) 推荐(0)
摘要:一、环境配置 pip3 安装 Pandas模块后,导入模块时提示 "Missing required dependencies{0}".format(missing_dependencies)) ImportError: Missingrequired dependencies ['numpy'] 阅读全文
posted @ 2017-08-21 14:43 Mitsuis 阅读(4877) 评论(0) 推荐(0)