摘要：分页抓取博客园新闻,先从列表里分析下一页按钮 相关代码: # -*- coding: utf-8 -*- import scrapy from cnblogs.items import ArticleItem class BlogsSpider(scrapy.Spider): name = 'blo 阅读全文

摘要：安装scrpay框架，具体可参考https://blog.csdn.net/c406495762/article/details/60156205 windows下开发需要安装下pywin32模块才能正常调用 安装成功后打开命令行输入scrapy:可以看到里面的语法调用信息 创建项目:项目目录下命令 阅读全文

摘要：抓取地址：http://maoyan.com/board/4 分析url分页规则:http://maoyan.com/board/4?offset=0 其中offset参数值为0到90 用到的库: 阅读全文

摘要：# coding:utf-8 from urllib.request import urlretrieve import threading import requests from bs4 import BeautifulSoup from datetime import datetime import pymysql import random import json import ti... 阅读全文