08 2018 档案

scrapy错误-[scrapy.core.scraper] ERROR: Spider error processing
摘要：一。问题，就是我的callback没得回调函数 二：然后我查看源代码，发现： 三。我把解析页数的函数名设置为，def parse(self,response): 就没保错了 能运行成功 总结：在spider的_init_.py文件的源代码下 设置了定义的parse()函数有callback这个能定义 阅读全文
posted @ 2018-08-29 23:49 不再悲伤 阅读(5008) 评论(0) 推荐(0)
python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
摘要：requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, u' 阅读全文
posted @ 2018-08-26 00:43 不再悲伤 阅读(31478) 评论(0) 推荐(4)
AttributeError: module 'requests' has no attribute 'get'的错误疑惑
摘要：我发现文件直接用requests.get(url)会提示我AttributeError: module 'requests' has no attribute 'get' 我把问题百度了一下，解决方法是： python源文件与关键字重名了。 1. 命名py脚本时，不要与python预留字，模块名等相 阅读全文
posted @ 2018-08-26 00:34 不再悲伤 阅读(6842) 评论(0) 推荐(1)
*arg,**kwargs的参数作用的疑惑
摘要：先来看个例子： args = (1, 2, 3, 4) kwargs = {} args = () kwargs = {'a': 1, 'c': 3, 'b': 2} args = (1, 2, 3, 4) kwargs = {'a': 1, 'c': 3, 'b': 2} args = ('a', 阅读全文
posted @ 2018-08-25 00:18 不再悲伤 阅读(333) 评论(0) 推荐(0)
scrapy框架--新建调试的main.py文件
摘要：一.原因： 由于pycharm中没有scrapy的一个模板，所有没办法直接在scrapy文件中调试，所有我们需要写一个自己的main.py文件，在文件里面调用命令行，来实现scrapy的一个调试。（在scrapy中可以调试，可以让我们的开发效率高） 二.注意点： 字爬虫文件中设置断点，但是需要在自己 阅读全文
posted @ 2018-08-17 21:34 不再悲伤 阅读(3229) 评论(0) 推荐(0)
Scrapy框架——安装以及新建scrapy文件
摘要：一.安装 conda install Scrapy ：之后在按y 表示允许安装相关的依赖库（下载速度慢的话也可以借助镜像源），安装的前提是安装了anaconda作为python ， 测试scrapy是否安装成功,在窗口输入scrapy回车 注意：我这是之前安装了anaconda 所以能直接这样下载 阅读全文
posted @ 2018-08-16 23:01 不再悲伤 阅读(312) 评论(0) 推荐(0)
爬虫-ajax请求遇到Unicode编码问题
摘要：2018-08--4爬取金色财经网页 网址：https://www.jinse.com/search/EOS 第一步：我观察了网页；发现了网页是一个发送ajax请求的网页，发现如下： 然后 我就先爬取第一次请求出来的信息，剩下的请求可以经过比较每次请求的参数的变化来做比较，从而发现规律。 第二步：我 阅读全文
posted @ 2018-08-04 02:37 不再悲伤 阅读(447) 评论(0) 推荐(0)