摘要：笔者最近对scrapy的学习可谓如火如荼，虽然但是，即使是一整天地学习下来也会有中间两三个小时的“无效学习”，不是笔者开小差，而是掉进了深坑出不来。 在此，给各位分享一下作为一名Scrapy框架的初学者，笔者在学习过程中遇到的各个大坑和小技巧吧。 1. user_agent 这个，在某些网站看来这无 阅读全文

摘要：本文以爬取网站 代码的边城 为例 1.安装scrapy框架 详细教程可以查看本站文章 点击跳转 2.新建scrapy项目 生成一个爬虫文件。在指定的目录打开cmd.exe文件，输入代码 scrapy startproject mxp7 cd mxp7 scrapy genspider sp mxp7 阅读全文

摘要：Win+R 输入cmd打开命令行 我们先把pip升级到最新版，输入代码如下： pip install --upgrade pip 不过一般这种更新方式会经常性出错，安装文件在下载到一半时就会超时报错 可以试试输入下面的代码一般不会出现什么问题了 python -m pip install -U -- 阅读全文