上一页 1 ··· 24 25 26 27 28 29 30 31 32 ··· 56 下一页

2022年7月29日

Scrapy vscode 的调试

摘要: 1. 首先设置scrapy断点,参考https://www.cnblogs.com/changbaishan/p/15880018.html, 下面是我的代码: mian.py 与scrapy.cfg在同一层级 from scrapy.cmdline import execute import os 阅读全文

posted @ 2022-07-29 15:13 花阴偷移 阅读(380) 评论(0) 推荐(0)

Scrapy 请求并发数设置

摘要: 并发数可以在scrapy项目的settings.py文件中设置。 1.CONCURRENT_ITEMS 是指:最大并发项目数,默认100个。 2.CONCURRENT_REQUESTS 是指:下载器将执行的并发(即同时)请求的最大数量,默认16个。 3.CONCURRENT_REQUESTS_PER 阅读全文

posted @ 2022-07-29 10:59 花阴偷移 阅读(2518) 评论(0) 推荐(1)

2022年7月28日

Splash (渲染JS服务)介绍安装

摘要: 一. splash介绍 1.Splash 是一个带有 HTTP API 的 javascript 渲染服务。它是一个带有 HTTP API 的轻量级浏览器,使用 Twisted 和 QT5 在 Python 3 中实现。 2.Splash特点: 1)它快速、轻量且无状态,使其易于分发。 2)并行处理 阅读全文

posted @ 2022-07-28 14:45 花阴偷移 阅读(795) 评论(0) 推荐(0)

2022年7月26日

scrapyd api接口介绍

摘要: scrapyd API接口,这里使用postman工具调用,每个接口都添加了scrapyd服务需要的Basic Auth类型用户名和密码。 1.daemonstatus.json接口 检查服务的负载状态 get请求,传参无 #get请求 http://120.xx.xxx.xxx:6800/daem 阅读全文

posted @ 2022-07-26 15:16 花阴偷移 阅读(466) 评论(0) 推荐(0)

2022年7月22日

爬虫部署 Gerapy 安装(centos 8)演示

摘要: 一.安装 pip3 install -U gerapy 使用python3.68版本安装gerapy,报错提示:ModuleNotFoundError: No module named 'setuptools_rust' 解决方法更新pip3 pip3 install --upgrade pip 安 阅读全文

posted @ 2022-07-22 16:29 花阴偷移 阅读(672) 评论(0) 推荐(0)

linux 操作sqlite3示例

摘要: 一.修改表中数据示例 1.找到要修改的db文件,这里是db.sqlite3文件, 找到要修改的表,修改密码名和密码 [root@iZwz927xptl8kw8zqrmwvcZ dbs]# pwd /usr/local/gerapy/dbs [root@iZwz927xptl8kw8zqrmwvcZ 阅读全文

posted @ 2022-07-22 11:46 花阴偷移 阅读(492) 评论(0) 推荐(0)

linux 安装git, 找拉取源码

摘要: 一.安装 环境centos 8 yum -y install git [root@iZwz927xptl8kw8zqrmwvcZ ebs_crawler]# git --version git version 2.27.0 二.拉取源码,指定分支 #先指定clone目录 cd /usr/local/ 阅读全文

posted @ 2022-07-22 11:04 花阴偷移 阅读(755) 评论(0) 推荐(0)

2022年7月20日

阿里云 centos 8 python 3.6 升级到python 3.8

摘要: 一.环境 阿里云centos 8.5 默认自带了python 3.6版本,由于很多插件更新快,需要更高的版本,这里升级到python3.10.5最新稳定版本。 1)查看python3默认版本 [root@iZwz927xptl8kw8zqrmwvcZ ~]# python3 Python 3.6.8 阅读全文

posted @ 2022-07-20 16:42 花阴偷移 阅读(3509) 评论(1) 推荐(0)

docker 修改容器系统时间

摘要: 问题: 通过docker创建容器后,容器中运行的时间可能与宿主时间不一致,centos系统检查方法: #本地时间 [root@iZwz927xptl8kw8zqrmwvcZ Asia]# date Wed Jul 20 15:33:21 CST 2022 #查看容器中时间,少了8小时 [root@i 阅读全文

posted @ 2022-07-20 16:35 花阴偷移 阅读(129) 评论(0) 推荐(0)

2022年7月19日

linux 命令记录

摘要: 1.清空 mariadb.log中的内容 [root@hsr backups]# : > /var/log/mariadb/mariadb.log 2.后匹配查找文件名 [root@iZwz927xptl8kw8zqrmwvcZ ~]# find / -name python3* 3.查找命令位置 阅读全文

posted @ 2022-07-19 10:25 花阴偷移 阅读(75) 评论(0) 推荐(0)

上一页 1 ··· 24 25 26 27 28 29 30 31 32 ··· 56 下一页

导航