TNTsc

摘要： 一.创建 1. 使用np.array() 创建 ①一维数据创建 ②二维数组创建 2.使用np 的 routlines 函数创建 ①np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) 等差数列 ②np.a 阅读全文

摘要： 一.全站爬取(CrawlSpider) 1.基本概念 2.项目示例 ①.爬取抽屉网多页数据对象 ②爬取阳光热线 多页及详情页数据,持久化存储 二.分布式 1.基本概念 2.实现流程 3.示例(阳光热线的爬取): 三.增量式爬虫 1.对url去重(爬取4567电影网数据) 2.对数据的去重(糗事百科) 阅读全文

摘要： 一.全站数据的爬取(手动) 二.如何进行post请求发送 和cookie处理 1.post请求的发送 2.cookie的处理 三.请求传参 四.中间件 1.UA池 和代理池 代理池:ip代理 - 作用：尽可能多的将scrapy工程中的请求的IP设置成不同的。 ①在middlewares.py 文件中 阅读全文

摘要： 一.内存 1.基本概念 二.顺序表 1.单数据类型 2.多类型数据结构 三.单链表 1.基本操作 2.代码结构 阅读全文

摘要： 一.时间复杂度 1.基本概念 O(1) < O(logn) < O(n) < O(nlogn) < O(n^2) < O(n^3) < O(2^n) < O(n!) < O(n^n) 2.示例说明 ① ② ③三种不同数据结构的时间复杂度 二.timeit(测试代码执行的平均值) 三. 栈 1.基本操 阅读全文

摘要： 一.基本概念 二. 环境的安装 Linux系统： pip3 install scrapy 三. 使用流程 四.基本结构: 爬虫文件 示例: 五.持久化存储 1.基于终端指令存储 2.基于管道的持久化存储 setting配置文件中 六.移动端数据的爬取 阅读全文

摘要： 一.单线程+异步协程 1.基本概念: 2.多任务异步协程 3.在爬虫中的应用 from flask import Flask import time app = Flask(__name__) @app.route('/bobo') def index_bobo(): time.sleep(2) r 阅读全文

摘要： 一.代理服务器 1.基本概念 2.示例 二.验证码识别 以下代码是下载的文件中的内容 用的时候需加载 三.处理cookie 四.综合示例(验证码,模拟登陆,cookie) 五.线程池的使用 阅读全文

摘要： 一.两种爬取图片的方法 ①requests方法 ②request方法 二.数据解析 1.正则 2. bs4解析 ①环境安装 ②原理 ③定位 ‘>’:表示一个层级 soup.select('.tang > ul > li > a') 空格：表示多个层级 soup.select('.tang a') ④ 阅读全文

摘要： 详细查看 阅读全文