随笔分类 - 爬虫
摘要:需求: 给你一个演员,去爬取豆瓣改演员的信息,并存入数据库。 拿到需求之后想着自己之前也写过几个简单python爬虫脚本,觉得应该没问题。但是却被打脸了。 问题: 我首先是去看了一个php的爬虫框架Spider,框架不错(因为后面没用这个框架就不多说了)爬取页面信息用的是DomCrawler,准备开
阅读全文
摘要:问题提示-> Timeouterror:[WinError 10060]由于连接放在一点时间后没有正确答复或连接的主机没有反应,连接尝试失败。 这两天在写爬虫脚本,运行的时候会出现这个报错。因为我爬取到数据之后会插入到数据库,看到这个提示就很正常的以为是在链接服务器数据库时出现的错误,就去网上找解决
阅读全文