摘要：看了崔大佬的文章，写了这个爬虫，学习了！原文地址 现在该网站加了反爬机制，不过在headers里加上refere参数就行了。 以下代码仅做学习记录之用： 阅读全文

摘要：w3cschool上的来练练手，爬取笔趣看小说http://www.biqukan.com/， 爬取《凡人修仙传仙界篇》的所有章节 1.利用requests访问目标网址，使用了get方法 2.使用BeautifulSoup解析返回的网页信息，使用了BeautifulSoup方法 3.从中获取我们需要 阅读全文

摘要：1.创建项目 在你存放项目的目录下,按shift+鼠标右键打开命令行,输入命令创建项目: PS F:\ScrapyProject> scrapy startproject weather # weather是项目名称 回车即创建成功 这个命令其实创建了一个文件夹而已,里面包含了框架规定的文件和子文件 阅读全文

摘要：1.安装Scrapy pip 安装: pip install scrapy 要求pip至少是18.1版本的,10.x版本会提示更新pip 更新pip命令: python -m pip install --upgrade pip 用pycharm的话,直接在File->Setting->Python 阅读全文