摘要: 我们可以去使用正则去过滤掉他们 方法如下 心得:用最简单的方法去解决复杂的问题 阅读全文
posted @ 2017-04-27 15:27 淋哥 阅读(2482) 评论(0) 推荐(0) 编辑
摘要: from selenium import webdriver# 请求url url = "https://auctions.freemansauction.com/auction-lot-detail/A%2Dplatinum%2Dand%2Ddiamond%2Dlorgnette%2C/1593+++++++2+/++989817" mydriver = webdriver.PhantomJ... 阅读全文
posted @ 2017-04-27 15:27 淋哥 阅读(643) 评论(0) 推荐(0) 编辑
摘要: 使用Python的django框架连接数据库,操作数据库代码: 在代码中看到 cursor执行完之后,执行close。想到diango的mysql连接是不是没有做连接池?带着这个疑问上网查看,发现果然有这方面的文档。后来看官网时发现: django最新版本已经包含了连接池,通过修改配置控制,官方文档 阅读全文
posted @ 2017-04-27 15:19 淋哥 阅读(2625) 评论(4) 推荐(0) 编辑
摘要: 数据库表sql语句: 源代码: 爬取效果: 阅读全文
posted @ 2017-04-27 15:16 淋哥 阅读(962) 评论(0) 推荐(0) 编辑
摘要: http连接太多没有关闭导致的。 1、增加重试连接次数 requests.adapters.DEFAULT_RETRIES = 5 2、关闭多余的连接 s = requests.session() s.keep_alive = False 3、升级requests pip install --upg 阅读全文
posted @ 2017-04-27 15:12 淋哥 阅读(30525) 评论(0) 推荐(1) 编辑
摘要: import requests session = requests.session() carProposalUrl = "www.caaaa.com.cn/aaaa/aaaaa/carProposalproposal.do" carProposalHeaders ={ "Accept":"tex 阅读全文
posted @ 2017-04-27 15:11 淋哥 阅读(22477) 评论(1) 推荐(1) 编辑