上一页 1 2 3 4 5 6 ··· 46 下一页
摘要: # -*- coding: utf-8 -*-'''@Project:PyCharm@File : test2.py@Time:2023-02-15 13:46@Author:xcl@Email:2221117055@qq.com'''import mmh3import redisimport ma 阅读全文
posted @ 2023-02-15 13:16 淋哥 阅读(192) 评论(0) 推荐(0) 编辑
摘要: # -*- coding: utf-8 -*-'''createTime : 2022-08-04 10:22@software: : spiderSystem在使用selenium的过程中,速度比较慢,主要原因有1. 加载图片或者css文件等2. driver.get(url) 是阻塞的,加载速度 阅读全文
posted @ 2022-11-22 09:17 淋哥 阅读(3042) 评论(0) 推荐(0) 编辑
摘要: Pycharm 使用git 详细教程 1. 安装git 插件 File>setting>plugins 搜索 GitToolBox 点击安装即可 2. Git 初始化 3. 克隆项目 点击 Clone 无法克隆,删除 文件夹 .git即可 4. 下拉,提交,推送 阅读全文
posted @ 2022-11-11 10:27 淋哥 阅读(225) 评论(0) 推荐(0) 编辑
摘要: from lxml import etree from lxml.html import fromstring, tostring wb_data = """ <div class="text" id="text1"> <div class="textad" id="ad4"></div> <p>< 阅读全文
posted @ 2022-09-07 16:08 淋哥 阅读(29) 评论(0) 推荐(0) 编辑
摘要: def spider(): a = "%7B%221%22%3A%7B%22envService%22%3A%22prod%22%2C%22abTestData%22%3A%7B%22themeChange%22%3A1%2C%22searchBarPanel%22%3A0%2C%22updateN 阅读全文
posted @ 2022-08-22 20:34 淋哥 阅读(628) 评论(0) 推荐(0) 编辑
摘要: 修改1: 修改2: 修改3: 改完,然后保存。 回到fiddler页面。命令输入:bpu http://www.xxxx.com/xxx111 http://www.xxxx.com/xxx222两个uri 用空格隔开然后回车执行命令取消断点输入:bpu 回车即可。 然后,这两个页面都可以被拦截啦。 阅读全文
posted @ 2022-08-09 14:19 淋哥 阅读(332) 评论(0) 推荐(0) 编辑
摘要: 占坑 阅读全文
posted @ 2022-08-08 19:11 淋哥 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 占坑 阅读全文
posted @ 2022-08-08 19:10 淋哥 阅读(95) 评论(0) 推荐(0) 编辑
摘要: windows = driver.current_window_handle #定位当前页面句柄 all_handles = driver.window_handles #获取全部页面句柄 for handle in all_handles: #遍历全部页面句柄 if handle != windo 阅读全文
posted @ 2022-08-08 15:09 淋哥 阅读(688) 评论(0) 推荐(0) 编辑
摘要: 总有人说python做爬虫速度慢,能开并发数少,至于为什么慢就是说不上来,今天就是测试一下python语言的速度和并发数量。 在网络爬虫中,影响速度的有数据下载,数据解析,数据存储,最主要的影响是数据下载和数据存储,数据下载影响是网络IO,数据存储是磁盘IO,本次模拟数据下载是1s,然后数据存储直接 阅读全文
posted @ 2022-08-01 18:15 淋哥 阅读(696) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 46 下一页