文章分类 -  爬虫

Splash的安装以及简单实用示例
摘要：Splash 是一个用于执行带有 JavaScript 的网页渲染的工具，常用于网页抓取，特别是在页面包含动态内容的情况下。它可以通过 Docker 安装，下面是安装和一些常见示例的操作步骤。 1. 安装 Splash 使用 Docker 安装 最简单的方法是使用 Docker 安装 Splash， 阅读全文
posted @ 2024-09-30 22:38 下个ID见 阅读(363) 评论(0) 推荐(0)
安装scrapyd
摘要：1. 安装 Scrapyd 首先，确保系统中已经安装了 Python 3 和 pip。然后使用 pip 安装 Scrapyd。 1.1 更新包管理器并安装 pip： sudo apt update sudo apt install python3-pip 1.2 使用 pip 安装 Scrapyd： 阅读全文
posted @ 2024-09-14 16:26 下个ID见 阅读(28) 评论(0) 推荐(0)
搭建ip代理池
摘要：proxy_pool # github地址 https://github.com/jhao104/proxy_pool # 直接使用docker启动 docker pull jhao104/proxy_pool docker run --env DB_CONN=redis://:password@i 阅读全文
posted @ 2024-08-19 23:35 下个ID见 阅读(12) 评论(0) 推荐(0)
scrapy使用案例
摘要：Python爬取腾讯漫画信息 1，技术栈 python scrapy Crawl Spider pycharm 2，腾讯动漫 # 网址 https://ac.qq.com/ # 检索页面 https://ac.qq.com/Comic/all/search/hot/page/1 # 全部5410结果 阅读全文
posted @ 2024-01-14 21:07 下个ID见 阅读(25) 评论(0) 推荐(0)
提高scrapy速度
摘要：DOWNLOAD_DELAY = 0 CONCURRENT_REQUESTS = 100 CONCURRENT_REQUESTS_PER_DOMAIN = 100 CONCURRENT_REQUESTS_PER_IP = 100 COOKIES_ENABLED = False 阅读全文
posted @ 2022-07-12 15:36 下个ID见 阅读(38) 评论(0) 推荐(0)
scrapy-djangoitem
摘要：scrapy-djangoitem 见名知义，scrapy + django + item ,一个scrapy利用Django存储item的包 1，下载模块 pip install scrapy-djangoitem 2，在scrapy项目目录创建一个Django项目，或者在一个Django项目创建 阅读全文
posted @ 2022-07-06 21:50 下个ID见 阅读(139) 评论(0) 推荐(0)
LinkExtractor路由提取器
摘要：用于提取页面全部的ur，返回一个列表，每一个元素都是一个 Link 对象，即提取到的一个链接 一般结合规则解析器来使用 rules = ( Rule(LinkExtractor(allow=r"/info/\d+"), callback='parse_item', follow=False), ) 阅读全文
posted @ 2022-06-17 23:59 下个ID见 阅读(149) 评论(0) 推荐(0)
Scrapy + pymysql + dbutils
摘要：""" 数据库连接工具类 """ import pymysql import traceback import logging from dbutils.pooled_db import PooledDB from scrapy.utils.project import get_project_se 阅读全文
posted @ 2022-06-16 22:58 下个ID见 阅读(51) 评论(0) 推荐(0)
分布式爬虫scrapy-redis
摘要：1，分布式爬虫 pip install Scrapy pip install Scrapy-redis 2，实例 # 继承的类修改 CrawlSpider >RedisCrawlSpider # 注释掉start_urls redis_key = # start scrapy_redis setti 阅读全文
posted @ 2022-06-16 21:34 下个ID见 阅读(23) 评论(0) 推荐(0)
scrapy使用extract方法获取文本时出现\xa0 、 \u3000
摘要：\xa0 是不间断空白符 &nbsp 我们通常所用的空格是 \x20 ，是在标准ASCII可见字符 0x200x7e 范围内。 而 \xa0 属于 latin1 （ISO/IEC_8859-1）中的扩展字符集字符，代表空白符nbsp(non-breaking space)。 latin1 字符集向下 阅读全文
posted @ 2022-06-15 20:47 下个ID见 阅读(157) 评论(0) 推荐(0)
scrapy框架内置的图片下载器ImagesPipeline
摘要：1，配置 1.1，ROBOTSTXT ROBOTSTXT_OBEY = True 1.2，UA伪装 USER_AGENT = "使用浏览器随便发起一个请求，打开检查查找网络刷新页面，选择一个xhr请求找到user-agent的值" 1.3，管道优先级 ITEM_PIPELINES = { 'qiub 阅读全文
posted @ 2022-05-23 11:32 下个ID见 阅读(158) 评论(0) 推荐(0)
robots之君子协议
摘要：robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确 阅读全文
posted @ 2022-05-23 11:16 下个ID见 阅读(354) 评论(0) 推荐(0)