随笔分类 -  爬虫

摘要:需求: 给你一个演员,去爬取豆瓣改演员的信息,并存入数据库。 拿到需求之后想着自己之前也写过几个简单python爬虫脚本,觉得应该没问题。但是却被打脸了。 问题: 我首先是去看了一个php的爬虫框架Spider,框架不错(因为后面没用这个框架就不多说了)爬取页面信息用的是DomCrawler,准备开 阅读全文
posted @ 2020-03-05 21:52 _四点 阅读(945) 评论(0) 推荐(0)
摘要:问题提示-> Timeouterror:[WinError 10060]由于连接放在一点时间后没有正确答复或连接的主机没有反应,连接尝试失败。 这两天在写爬虫脚本,运行的时候会出现这个报错。因为我爬取到数据之后会插入到数据库,看到这个提示就很正常的以为是在链接服务器数据库时出现的错误,就去网上找解决 阅读全文
posted @ 2020-01-15 15:23 _四点 阅读(15231) 评论(2) 推荐(2)