2017年4月27日
Python PhantomJS 爬虫 示例
摘要： from selenium import webdriver# 请求url url = "https://auctions.freemansauction.com/auction-lot-detail/A%2Dplatinum%2Dand%2Ddiamond%2Dlorgnette%2C/1593+++++++2+/++989817" mydriver = webdriver.PhantomJ... 阅读全文
posted @ 2017-04-27 15:27 淋哥 阅读(665) 评论(0) 推荐(0)
Python 爬虫 去掉网页注释，去掉网页注释
摘要： 我们可以去使用正则去过滤掉他们 方法如下 心得：用最简单的方法去解决复杂的问题 阅读全文
posted @ 2017-04-27 15:27 淋哥 阅读(2525) 评论(0) 推荐(0)
Python 爬虫实例（6）—— 爬取蚂蚁免费代理
摘要： 数据库表sql语句： 源代码： 爬取效果： 阅读全文
posted @ 2017-04-27 15:16 淋哥 阅读(982) 评论(0) 推荐(0)
HTTPSConnectionPool(host='xxxxx', port=443): Max retries exceeded with url:xxxxxxxx (Caused by NewConnectionError('<urllib3.connect，Max retries exceeded with ，(Caused by NewConnectionError
摘要： http连接太多没有关闭导致的。 1、增加重试连接次数 requests.adapters.DEFAULT_RETRIES = 5 2、关闭多余的连接 s = requests.session() s.keep_alive = False 3、升级requests pip install --upg 阅读全文
posted @ 2017-04-27 15:12 淋哥 阅读(31114) 评论(0) 推荐(1)
requests.exceptions.MissingSchema: Invalid URL 'xxxxxxxxxxxxx': No schema supplied. Perhaps you meant xxxxxxxxxxxxx
摘要： import requests session = requests.session() carProposalUrl = "www.caaaa.com.cn/aaaa/aaaaa/carProposalproposal.do" carProposalHeaders ={ "Accept":"tex 阅读全文
posted @ 2017-04-27 15:11 淋哥 阅读(23914) 评论(1) 推荐(1)