我爱你的 - 博客园

2024年6月13日

摘要： #前提安装了node.js 并且设置环境变量 https://blog.csdn.net/bestyellow/article/details/119820509import subprocessfrom functools import partialsubprocess.Popen = part 阅读全文

posted @ 2024-06-13 16:15 我爱你的阅读(69) 评论(0) 推荐(0)

2024年6月9日

通过接口拿到代理，返回代理列表（只有http,无https）

摘要： def get_proxies_list(num): res = requests.get(url = f"http://api.89ip.cn/tqdl.html?api=1&num={num*2}&port=&address=&isp=").text ip_list = re.compile(" 阅读全文

posted @ 2024-06-09 16:04 我爱你的阅读(129) 评论(0) 推荐(0)

2024年6月8日

某网站加密返回数据加密_爬取过程

摘要： import jsonimport randomimport reimport subprocessfrom functools import partialfrom faker import Fakerfrom parsel import Selectorfake = Faker(locale=' 阅读全文

posted @ 2024-06-08 01:21 我爱你的阅读(202) 评论(0) 推荐(0)

csv文件的写入和读取

摘要： from faker import Fakerfake_ = Faker(locale='zh_CN') with open('file.csv', "a", encoding="utf-8") as f: for i in range(100,8000): f.write(f"{i},{fake_ 阅读全文

posted @ 2024-06-08 01:09 我爱你的阅读(41) 评论(0) 推荐(0)

openpyxl库写入列表数据

摘要： from openpyxl import load_workbook from typing import Union, List, IOimport openpyxlimport pandas as pdimport os def write_excel(file_full_path, value 阅读全文

posted @ 2024-06-08 00:40 我爱你的阅读(621) 评论(0) 推荐(0)

追加写入json文件

摘要： #方便不占用内存，缺点最后写完后会多一个逗号，要自己手动删除 def begin_write_json(): with open('file.json', "w", encoding="utf-8") as f: f.write("[")def write_josn(items:dict): wit 阅读全文

posted @ 2024-06-08 00:15 我爱你的阅读(45) 评论(0) 推荐(0)

2024年6月7日

feapder框架爬取ks评论_递归的方式

摘要： import randomimport reimport timefrom feapder.db.mysqldb import MysqlDBimport feapderdef is_number(string): pattern = re.compile(r'^[-+]?[0-9]*\.?[0-9 阅读全文

posted @ 2024-06-07 12:45 我爱你的阅读(216) 评论(0) 推荐(0)

python各种加解密方法

摘要： # -*- encoding: utf-8 -*- from hashlib import md5import base64 # MD5加密obj = md5()str = "你是个小可爱"obj.update(str.encode("utf-8"))# obj.update("wusir".enc 阅读全文

posted @ 2024-06-07 10:52 我爱你的阅读(92) 评论(0) 推荐(0)

2024年6月3日

zf_利用feapder中的selenium网页爬取数据

摘要： "http://www.ccgp.gov.cn/cggg/dfgg/"#个人学习用切勿其他用途# 标题 name# 发布时间 publish_time# 地域 location# 采购人 purchaser# 采购网址 url#前提配置数据库安装feapder库 import randomimpor 阅读全文

posted @ 2024-06-03 21:47 我爱你的阅读(77) 评论(0) 推荐(0)

2024年6月1日

feapder通过selenium爬取网页数据-用到yield关键字可循环爬取

摘要： import randomimport timeimport feapderfrom feapder.utils.webdriver import WebDriverfrom parsel import Selectorfrom feapder.db.mysqldb import MysqlDBfr 阅读全文

posted @ 2024-06-01 22:31 我爱你的阅读(137) 评论(0) 推荐(0)