摘要：分页抓取博客园新闻,先从列表里分析下一页按钮 相关代码: # -*- coding: utf-8 -*- import scrapy from cnblogs.items import ArticleItem class BlogsSpider(scrapy.Spider): name = 'blo 阅读全文

摘要：安装scrpay框架，具体可参考https://blog.csdn.net/c406495762/article/details/60156205 windows下开发需要安装下pywin32模块才能正常调用 安装成功后打开命令行输入scrapy:可以看到里面的语法调用信息 创建项目:项目目录下命令 阅读全文

摘要：抓取地址：http://maoyan.com/board/4 分析url分页规则:http://maoyan.com/board/4?offset=0 其中offset参数值为0到90 用到的库: 阅读全文

摘要：先去python官网下载python3安装包 执行命令:wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 安装zlib-devel包(后面安装pip需要用到,这里先下载，后面就不用重复编译) yum install zlib- 阅读全文