摘要：
今日内容 0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', 阅读全文
posted @ 2023-03-22 18:34
与屿
阅读(26)
评论(0)
推荐(0)
摘要：
今日内容 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是 阅读全文
posted @ 2023-03-21 16:09
与屿
阅读(34)
评论(0)
推荐(0)
摘要：
今日内容 0 selenium 登录cnblogs from selenium import webdriver from selenium.webdriver.common.by import By import time import json bro = webdriver.Chrome(ex 阅读全文
posted @ 2023-03-21 16:07
与屿
阅读(35)
评论(0)
推荐(0)
摘要：
今日内容 0 bs4介绍，遍历文档树 # beautifulsoup4 从HTML或XML文件中提取数据的Python库 # 用它来解析爬取回来的xml # 安装：pip install beautifulsoup4 pip install lxml #解析库 # soup=BeautifulSou 阅读全文
posted @ 2023-03-21 16:06
与屿
阅读(24)
评论(0)
推荐(0)
摘要：
今日内容 1.requests高级用法 2.代理池搭建 3.爬取某视频网站 4.爬取新闻 1.requests高级用法 发送http请求，返回的数据会有xml格式，也有json格式 import requests data = { 'cname': '', 'pid': '', 'keyword': 阅读全文
posted @ 2023-03-16 19:28
与屿
阅读(60)
评论(0)
推荐(0)
摘要：
今日内容 1.爬虫介绍 2.request模块介绍 3.request发送get请求 4.request携带参数 5.url编码解码 6.携带请求头 7.发送post请求,携带数据 8.自动登录，携带cookie的两种方式 9.requests.session的使用 10.补充post请求携带数据编 阅读全文
posted @ 2023-03-15 20:30
与屿
阅读(49)
评论(0)
推荐(0)
摘要：
今日内容 1.上线架构图 2.阿里云购买 3.云服务器安装mysql 4.云服务安装redis(源码安装) 5.云服务器安装python3.8(源码安装) 6.安装uwsgi 7.安装虚拟环境 8.安装nginx(源码安装) 9.路飞前端部署 10.路飞后端部署 11.路飞后台管理样式处理 12.补 阅读全文
posted @ 2023-03-14 19:31
与屿
阅读(65)
评论(0)
推荐(0)
摘要：
今日内容 1.文件存储 2.搜索导航栏 3.搜索接口 4.搜索页面 5.支付宝支付介绍 6.支付宝二次封装 7.订单表设计 8.下单接口 9.前端支付页面 10.支付成功回调接口 1.文件存储 视频文件，存储到某个位置，如果放在自己服务器上 放在项目的media文件夹 服务器上线后，用户既要访问接口 阅读全文
posted @ 2023-03-13 20:23
与屿
阅读(51)
评论(0)
推荐(0)
摘要：
今日内容 1.课程表数据录入 2.课程分类接口 3.所有课程接口(过滤，排序) 4.课程详情接口（没有章节和课时的内容） 5.所有章节接口(按课程过滤) 6.课程列表前端 7.课程详情前端 1.课程表数据录入 -- 老师表 INSERT INTO luffy_teacher(id, orders, 阅读全文
posted @ 2023-03-12 13:59
与屿
阅读(59)
评论(0)
推荐(0)
摘要：
今日内容 1.celery执行异步任务，延迟任务，定时任务 2.django中使用celery 3.轮播图接口加缓存 4.双写一致性 5.首页轮播图定时更新 6.课程前端页面 7.课程功能表分析 1.celery执行异步任务，延迟任务，定时任务 1.异步任务 任务.delay(参数) 延迟任务 任务 阅读全文
posted @ 2023-03-09 19:23
与屿
阅读(78)
评论(0)
推荐(0)
浙公网安备 33010602011771号