摘要：
1.scrapy 架构介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 阅读全文
posted @ 2022-12-07 20:46
|相得益张|
阅读(69)
评论(0)
推荐(0)
摘要：
1. xpath的使用 1. html中选择标签，可以使用的通用方式 css 选择 xpath 选择 Xpath 即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言 2. 语法的简单介绍 nodename 选取此节点的所有子节点 / 从根节点选取 阅读全文
posted @ 2022-12-06 21:42
|相得益张|
阅读(151)
评论(0)
推荐(0)
摘要：
1. bs4搜索文档树 from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p id="my p" class="title">asdf 阅读全文
posted @ 2022-11-25 20:23
|相得益张|
阅读(381)
评论(0)
推荐(0)
摘要：
1. 测试频率 # 登录后的cookie，起100个线程，每个线程里死循环去点赞 import requests from threading import Thread def task(): while True: data = { 'linkId': '36996038' } header = 阅读全文
posted @ 2022-11-24 19:57
|相得益张|
阅读(687)
评论(0)
推荐(0)
摘要：
1. 爬虫介绍 1. 爬虫：spider，网络蜘蛛 2. 本质原理： 现在所有的软件原理：大部分都是基于http请求发送和获取数据的 pc端的网页 移动端app 模拟发送http请求，从别人的服务端获取数据 绕过反扒：不同程序反扒措施不一样，比较复杂 3. 爬虫原理 发送http请求【request 阅读全文
posted @ 2022-11-23 22:41
|相得益张|
阅读(329)
评论(0)
推荐(0)
摘要：
1. 支付宝支付介绍 1.1 了解 1. 项目中需要有在线支付功能 支付宝支付 微信支付：需要备案域名 云闪付 2. 以支付宝支付为例 支付流程 API，sdk sdk:第三方sdk，基于API封装的 官方sdk：https://opendocs.alipay.com/open/02no41 3. 阅读全文
posted @ 2022-11-22 22:25
|相得益张|
阅读(91)
评论(0)
推荐(0)
摘要：
目录1. 支付宝支付介绍1.1 了解1.2 使用支付宝支付1.3 基本使用2. 支付宝支付二次封装3. 订单相关表设计4. 生成订单接口5. 支付前端6. 支付宝回调接口 1. 支付宝支付介绍 1.1 了解 1. 项目中需要有在线支付功能 支付宝支付 微信支付：需要备案域名 云闪付 2. 以支付宝支 阅读全文
posted @ 2022-11-21 22:56
|相得益张|
阅读(379)
评论(0)
推荐(0)
摘要：
1. 课程详情页接口 课程章节接口，带按课程id号过滤的功能 http://127.0.0.1:8000/api/v1/course/chapter/?course=1 views.py # 查询所有章节，按课程过率 class CourseChapterView(GenericViewSet,Co 阅读全文
posted @ 2022-11-18 21:40
|相得益张|
阅读(92)
评论(0)
推荐(0)
摘要：
1. 补充 celery 1. 一台机器上运行celery的worker 在多台机器上celery的worker worker可以运行在多台机器上，但是必须把项目代码完成copy过去 2. 公司只是想做定时任务，celery比较大，比较麻烦，一般公司会使用 pip install apschedul 阅读全文
posted @ 2022-11-17 22:57
|相得益张|
阅读(64)
评论(0)
推荐(0)
摘要：
1. celery 快速使用 1. Celery 官网：http://www.celeryproject.org/ 2. Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.html 3. Celery 官方文档中文版：http: 阅读全文
posted @ 2022-11-16 22:25
|相得益张|
阅读(97)
评论(0)
推荐(0)
浙公网安备 33010602011771号