COMPLEX-B

导航

09 2018 档案

User_Agent大全
摘要：'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/... 阅读全文

posted @ 2018-09-27 21:50 COMPLEX-B 阅读(254) 评论(0) 推荐(0)

scrapy爬取网址，进而爬取详情页问题
摘要：1、最容易出现的问题是爬取到的url大多为相对路径，如果直接将爬取到的url进行二次爬取就会出现以下报错： raise ValueError('Missing scheme in request url: %s' % self._url)，该错误的意思是request的url为无效链接。 解决方法： 阅读全文

posted @ 2018-09-27 20:46 COMPLEX-B 阅读(1658) 评论(0) 推荐(0)

Python导入自定义类时显示错误：attempted relative import beyond top-level package
摘要：显示这个错误可能有两个原因： 1、文件夹中没有包含__init__.py文件，该文件可以为空，但必须存在该文件。 2、把该文件当成主函数入口，该文件所在文件夹不能被解释器视作package，所以可能导致相对路径错误。 解决方法： 1、添加__init__.py文件 2、更改主函数入口位置，或者是导入 阅读全文

posted @ 2018-09-26 21:04 COMPLEX-B 阅读(1166) 评论(0) 推荐(0)

Scrapy的安装和基本使用方法
摘要：Scrapy的安装 1. Windows下安装流程： 方法一： 命令行执行pip install scrapy 安装scrapy 注意：如果有anaconda，也可以打开“Anaconda prompt”，激活环境以后使用命令：conda install scrapy 方法二：当遇到lxml报错信息 阅读全文

posted @ 2018-09-19 21:59 COMPLEX-B 阅读(2928) 评论(0) 推荐(0)