07 2022 档案

Scrapy vscode 的调试
摘要:1. 首先设置scrapy断点,参考https://www.cnblogs.com/changbaishan/p/15880018.html, 下面是我的代码: mian.py 与scrapy.cfg在同一层级 from scrapy.cmdline import execute import os 阅读全文

posted @ 2022-07-29 15:13 花阴偷移 阅读(382) 评论(0) 推荐(0)

Scrapy 请求并发数设置
摘要:并发数可以在scrapy项目的settings.py文件中设置。 1.CONCURRENT_ITEMS 是指:最大并发项目数,默认100个。 2.CONCURRENT_REQUESTS 是指:下载器将执行的并发(即同时)请求的最大数量,默认16个。 3.CONCURRENT_REQUESTS_PER 阅读全文

posted @ 2022-07-29 10:59 花阴偷移 阅读(2519) 评论(0) 推荐(1)

Splash (渲染JS服务)介绍安装
摘要:一. splash介绍 1.Splash 是一个带有 HTTP API 的 javascript 渲染服务。它是一个带有 HTTP API 的轻量级浏览器,使用 Twisted 和 QT5 在 Python 3 中实现。 2.Splash特点: 1)它快速、轻量且无状态,使其易于分发。 2)并行处理 阅读全文

posted @ 2022-07-28 14:45 花阴偷移 阅读(796) 评论(0) 推荐(0)

scrapyd api接口介绍
摘要:scrapyd API接口,这里使用postman工具调用,每个接口都添加了scrapyd服务需要的Basic Auth类型用户名和密码。 1.daemonstatus.json接口 检查服务的负载状态 get请求,传参无 #get请求 http://120.xx.xxx.xxx:6800/daem 阅读全文

posted @ 2022-07-26 15:16 花阴偷移 阅读(467) 评论(0) 推荐(0)

爬虫部署 Gerapy 安装(centos 8)演示
摘要:一.安装 pip3 install -U gerapy 使用python3.68版本安装gerapy,报错提示:ModuleNotFoundError: No module named 'setuptools_rust' 解决方法更新pip3 pip3 install --upgrade pip 安 阅读全文

posted @ 2022-07-22 16:29 花阴偷移 阅读(674) 评论(0) 推荐(0)

linux 操作sqlite3示例
摘要:一.修改表中数据示例 1.找到要修改的db文件,这里是db.sqlite3文件, 找到要修改的表,修改密码名和密码 [root@iZwz927xptl8kw8zqrmwvcZ dbs]# pwd /usr/local/gerapy/dbs [root@iZwz927xptl8kw8zqrmwvcZ 阅读全文

posted @ 2022-07-22 11:46 花阴偷移 阅读(492) 评论(0) 推荐(0)

linux 安装git, 找拉取源码
摘要:一.安装 环境centos 8 yum -y install git [root@iZwz927xptl8kw8zqrmwvcZ ebs_crawler]# git --version git version 2.27.0 二.拉取源码,指定分支 #先指定clone目录 cd /usr/local/ 阅读全文

posted @ 2022-07-22 11:04 花阴偷移 阅读(755) 评论(0) 推荐(0)

阿里云 centos 8 python 3.6 升级到python 3.8
摘要:一.环境 阿里云centos 8.5 默认自带了python 3.6版本,由于很多插件更新快,需要更高的版本,这里升级到python3.10.5最新稳定版本。 1)查看python3默认版本 [root@iZwz927xptl8kw8zqrmwvcZ ~]# python3 Python 3.6.8 阅读全文

posted @ 2022-07-20 16:42 花阴偷移 阅读(3513) 评论(1) 推荐(0)

docker 修改容器系统时间
摘要:问题: 通过docker创建容器后,容器中运行的时间可能与宿主时间不一致,centos系统检查方法: #本地时间 [root@iZwz927xptl8kw8zqrmwvcZ Asia]# date Wed Jul 20 15:33:21 CST 2022 #查看容器中时间,少了8小时 [root@i 阅读全文

posted @ 2022-07-20 16:35 花阴偷移 阅读(129) 评论(0) 推荐(0)

linux 命令记录
摘要:1.清空 mariadb.log中的内容 [root@hsr backups]# : > /var/log/mariadb/mariadb.log 2.后匹配查找文件名 [root@iZwz927xptl8kw8zqrmwvcZ ~]# find / -name python3* 3.查找命令位置 阅读全文

posted @ 2022-07-19 10:25 花阴偷移 阅读(75) 评论(0) 推荐(0)

Python for windows安装 1
摘要:一.简介 Python是一种跨平台的编程语言,这意味着它能够运行在所有主流操作系统中。在所有安装了Python的现代计算机上,都能够运行你编写的任何Python程序。然而,在不同的操作系统中,安装Python的方法存在细微的差别。 Sublime Test 是一款简单的文本编辑器,可以在任何现代操作 阅读全文

posted @ 2022-07-01 15:05 花阴偷移 阅读(124) 评论(0) 推荐(0)

导航