8564129qwe

摘要： 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同 阅读全文

摘要： 0 selenium 登录cnblogs from selenium import webdriver from selenium.webdriver.common.by import By import time import json bro = webdriver.Chrome(executa 阅读全文

摘要： 0 bs4介绍，遍历文档树 # beautifulsoup4 从HTML或XML文件中提取数据的Python库 # 用它来解析爬取回来的xml # 安装：pip install beautifulsoup4 pip install lxml #解析库 # soup=BeautifulSoup('要解 阅读全文

摘要： 1 requests高级用法 1.0 解析json # 发送http请求，返回的数据会有xml格式，也有json格式 import requests data = { 'cname': '', 'pid': '', 'keyword': '500', 'pageIndex': 1, 'pageSiz 阅读全文

摘要： 1 爬虫介绍 # 爬虫是什么 -爬虫就是程序 》从互联网中，各个网站上，爬取数据[你能浏览的页面才能爬]，做数据清洗，入库 # 爬虫的本质 -模拟方式http请求，获取数据 》入库 -网站 -app：抓包 # 补充：百度其实就是一个大爬虫 -百度爬虫一刻不停的在互联网中爬取各个页面 》爬取完后 》保 阅读全文

摘要： 1 上线架构图 # 服务器，公网ip地址 -云服务器：阿里云，腾讯云 # 上线架构图 2 阿里云购买 # 购买阿里云服务器 -阿里云官网，点选购买 # ssh客户端 -xshell -finalshell：http://www.hostbuf.com/t/988.html -Bash命令 # 配置一 阅读全文

摘要： 1 文件存储 # 视频文件，存储到某个位置，如果放在自己服务器上 -放在项目的media文件夹 -服务器上线后，用户既要访问接口，又要看视频，都是一个域名和端口 -分开：文件单独放在文件服务器上，文件服务器带宽很高 # 文件服务器：专门存储文件的服务器 -第三方： -阿里云：对象存储 oss -腾讯 阅读全文

摘要： 1 课程表数据录入 -- 老师表 INSERT INTO luffy_teacher(id, orders, is_show, is_delete, created_time, updated_time, name, role, title, signature, image, brief) VAL 阅读全文

摘要： 1 celery 执行异步任务，延迟任务，定时任务 #1 异步任务 任务.delay(参数) # 延迟任务 任务.apply_async(args=[参数],eta=时间对象) # 如果没有修改时区，需要使用utc事件 # 定时任务 -需要启动beat和启动worker -beat 定时提交任务的进 阅读全文

摘要： 1 redis之列表 ''' 1 lpush(name, values) 2 rpush(name, values) 表示从右向左操作 3 lpushx(name, value) 4 rpushx(name, value) 表示从右向左操作 5 llen(name) 6 linsert(name, 阅读全文