2021年8月18日
hook详解和应用
摘要： 一、hook的作用区域 1、客户端的过程 链接服务器 拿回资源 渲染（解析资源）资源 初始化（自执行） 页面逻辑 等待用户输入 加密数据 提交数据 2、hook的本质 在这些流程任意环节中插入自己的代码，让浏览器限制性自己的代码，然后再执行原本的网站代码。 ①:链接服务器 hook能拿到服务器的IP 阅读全文
posted @ 2021-08-18 21:44 山水无期 阅读(1380) 评论(0) 推荐(0)
websockets的原理
摘要： 一、应用场景 http 协议 客户端发起请求的时候才会返回内容，如果要处理类似于聊天室的应用，需要客户端不间断的发起请求（轮询），非常占用服务器的性能。所以websocket出现了。 二、ws(wss)协议原理 1、特点 服务器可以主动向客户端推送信息，客户端也可以主动向服务器发送信息 （1）建立在 阅读全文
posted @ 2021-08-18 20:52 山水无期 阅读(647) 评论(0) 推荐(0)
2021年8月13日
selenium常用配置
摘要： def init_chrome_options(self,): chrome_options = webdriver.ChromeOptions() # 设置浏览器初始 位置x,y & 宽高x,y chrome_options.add_argument(f'--window-position={21 阅读全文
posted @ 2021-08-13 14:42 山水无期 阅读(180) 评论(0) 推荐(0)
2021年8月6日
MySQL数据库和Python的交互
摘要： 一、缘由 这是之前学习的时候写下的基础代码，包含着MySQL数据库和Python交互的基本操作。 二、代码展示 import pymysql ''' 1、数据库的链接和创建视图 ''' # db=pymysql.connect(host='localhost',user='root',passwor 阅读全文
posted @ 2021-08-06 01:17 山水无期 阅读(270) 评论(0) 推荐(0)
MongoDB数据库与Python的交互
摘要： 一、缘由 这是之前学习的时候写下的基础代码，包含着MongDB数据库和Python交互的基本操作。 二、代码实现 import pymongo #连接数据库 client=pymongo.MongoClient(host='localhost',port=27017) #制定数据库 db=clien 阅读全文
posted @ 2021-08-06 01:15 山水无期 阅读(40) 评论(0) 推荐(0)
re、base64的结合使用爬取豆瓣top250
摘要： 一、缘由 对于豆瓣的这个网站，记得使用了不少于三种的爬取和解析方式来进行的。今天的这种解析方式是我使用起来较为顺手，后来就更喜欢使用xpath解析，但是这两种也需要掌握。 二、代码展示 '''爬取豆瓣前50%的电影以及基本信息''' #html和css基础 #名称、评分、评价数、电影概况、电影链接 阅读全文
posted @ 2021-08-06 01:10 山水无期 阅读(65) 评论(0) 推荐(0)
日志文件的设置
摘要： 一、缘由 在脚本的运行中离不开日志文件，因为日志文件会更好的帮助我们找到出选的问题，或者来帮助我们审查是否出现问题，这样我们就不用时时刻刻的看着运行的过程也可以排除问题 二、代码展示 #coding:utf-8 import logging import os def init_log(path): 阅读全文
posted @ 2021-08-06 01:03 山水无期 阅读(118) 评论(0) 推荐(0)
base64解析爬取糗百
摘要： 一、缘由 这是我之前刚开始学习的时候爬取糗百的练习内容，主要练习的是bs64解析。虽然现在用的不是特别的多，但是当初的时候用起来还是非常的顺手的。 二、代码实现 #coding:utf-8 import requests from bs4 import BeautifulSoup def downl 阅读全文
posted @ 2021-08-06 00:59 山水无期 阅读(81) 评论(0) 推荐(0)
referer的反爬和爬虫下载视频
摘要： 一、缘由 在梨视频等一些网站中会使用防盗链作为反爬的基础方法，这个反爬并不严重，只是平时的时候需要多加留意。此次实现对应链接中梨视频的下载。 二、代码实现 #1、拿到contid #2、拿到videoStatus返回的json.-> srcURL #3、srcURL里面的内容进行修整 成为src # 阅读全文
posted @ 2021-08-06 00:45 山水无期 阅读(284) 评论(0) 推荐(0)
爬取图片
摘要： 爬取小姐姐的美图 一、缘由 我想每一个学习爬虫的都会爬取一次小姐姐的美图吧，我也不例外。还记得这是我刚学不久的时候爬取的图片。来，先上效果图。 二、代码实现 #encoding='utf-8' #1、拿到主页面的源代码，然后提取到企业民的链接地址，herf #2、通过herf拿到子页面的内容，从子页 阅读全文
posted @ 2021-08-06 00:28 山水无期 阅读(117) 评论(0) 推荐(0)