摘要:
爬取网站:https://m.qingting.fm/rank/ 技术:Scrapy 与 Xpath 使用Scrapy命令创建爬虫文件(不会创建scrapy项目创建的,请查看,上一篇文章) scrapy genspider example example.com 成功创建如下图所示 请求数据需要使用 阅读全文
posted @ 2024-02-21 16:11
怪~咖
阅读(62)
评论(0)
推荐(0)
摘要:
一、安装Scrapy pip install scrapy 二、创建scrapy项目 scrapy startproject my_spider 三,创建爬虫文件 scrapy genspider example example.com #example 文件名称 #example.com 爬取网站 阅读全文
posted @ 2024-02-21 14:05
怪~咖
阅读(22)
评论(0)
推荐(0)
摘要:
前言 在我们写爬虫的时候,一般想要的数据都在详情页里面,一般代码进入详情页参数,需要首页里面寻找,所以爬这样的网站,需要定义一个模板 我的模板如下: import random import time import requests from auction import logtool from 阅读全文
posted @ 2024-02-21 09:26
怪~咖
阅读(93)
评论(0)
推荐(0)

浙公网安备 33010602011771号