Loading

2024年5月12日
基于asyncio+pyppeteer的增量式微博网页版爬虫（二）爬虫构建篇
摘要： 目录安装数据库安装Redis安装PostGreSQL实现步骤微博站点分析asyncio获取cookieaiohttp+redis构造待爬取URLpyppeteer构建爬虫执行爬虫性能优化thread构建线程redis Pipline爬取异常处理总结项目总结不足 安装数据库 安装Redis 该步骤实现 阅读全文
posted @ 2024-05-12 20:35 踩坑大王 阅读(86) 评论(0) 推荐(0)
【FastApi】异步编程笔记
摘要： 目录异步编程OpenAPI文档相关命令 异步编程 FastAPI和Sanic都是异步框架 ASGI：一种接口协议，是WSGI的扩展，为了规范支持异步的Python Web服务器、框架和应用之间的通信定制的，囊括了同步和异步的通信规范。 OpenAPI文档 http://127.0.0.1:8000/ 阅读全文
posted @ 2024-05-12 19:03 踩坑大王 阅读(89) 评论(0) 推荐(0)
云服务器基本操作指南
摘要： 目录CentOS 7.9 服务器操作查看已启动的服务AWS EC2操作 CentOS 7.9 服务器操作 查看防火墙运行状态 firewall-cmd --state 开启防火墙 sudo systemctl start firewalld 开机自启动防火墙 sudo systemctl enabl 阅读全文
posted @ 2024-05-12 15:49 踩坑大王 阅读(26) 评论(0) 推荐(0)