魔弦音奏

摘要： scrapy相关 一 Scrapy爬虫框架发送请求 > 获取响应数据 > 解析数据 > 保存数据 ** Scarpy框架介绍 ** 1、引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。 2、调度器(SCHEDULER) 用来 阅读全文

摘要： 课堂笔记 1、BeautifulSoup 解析库2、MongoDB 存储库3、requests-html 请求库 BeautifulSoup1、什么bs4，为什么要使用bs4？ 是一个基于re开发的解析库，可以提供一些强大的解析功能。 提高提取数据的效率与爬虫开发效率。 2、安装与使用 pip3 i 阅读全文

摘要： 滑动验证破解 阅读全文

摘要： 破解登录 滑动验证思路 阅读全文

摘要： 今日内容:1、requests.POST请求2、requests高级用法3、selenium模块相关 request.post请求 response 相关数据采集 requests高级用法（网站验证，超时设置，代理测试，文件上传） selenium基本应用（模块介绍，浏览器驱动基础应用） selen 阅读全文

摘要： 昨日回顾: 爬虫原理: 什么是爬虫？ 爬虫指的是爬取数据。 什么是互联网？ 由一堆网络设备把一台一台的计算机互联到一起。 互联网建立的目的？ 数据的传递与数据的共享。 上网的全过程: - 普通用户 打开浏览器 --> 往... 阅读全文

摘要： # 内置模块 # 模块与包# 爬虫相关 内置模块 02、模块与包 import +模块名 爬虫相关 以baidu.com和梨视频为例 阅读全文

摘要： 今日内容 1.数据类型剩余的内置方法 2.字符编码 3.文件处理 4.函数基础 01.列表类型： # 1.insert() #插入#第一个参数：索引 第二个参数：插入的值list1 = ['tank', 18, 'male', 3.0, 9, '广东', 'tank', [1, 2]]list1.i 阅读全文

摘要： 1.字符串的内置方法# # 字符串的操作# str1 = 'my name is xxx, my age is 18。'# # 优先掌握的操作：# # 1、按索引取值(正向取+反向取) ：只能取# print(str1[3])## # 2、切片(顾头不顾尾，步长)# print(str1[3:7]) # 3 - (7-1)## # 步长为2# print(str1[3:10:2])## # 3、... 阅读全文