摘要: 利用python脚本对文件夹中的大量文件划分训练集train、验证集val和测试集test。source_dir为源文件夹,source_dir目录中可以包含不同种类的文件夹。 import os import shutil import random from pathlib import Pat 阅读全文
posted @ 2025-09-23 15:27 Steven0325 阅读(17) 评论(0) 推荐(0)
摘要: 1. 基本介绍 简介 feapder是一款上手简单,功能强大的Python爬虫框架,内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。 支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。 更有功能强大的爬虫管理系统feaplat为其提 阅读全文
posted @ 2025-07-22 16:58 Steven0325 阅读(97) 评论(0) 推荐(0)
摘要: 1. 启动命令和配置 创建scrapy项目的命令: 1. scrapy startproject 项目名称 2. scrapy genspider 爬虫名称 域名(创建爬虫文件之前需要手动进入到这个项目的根目录之下) 启动scrapy项目的命令: scrapy crawl 爬虫名称 如果大家在执行这 阅读全文
posted @ 2025-07-17 16:10 Steven0325 阅读(17) 评论(0) 推荐(0)
摘要: 1. 协程的使用 1.1 在协程环境中执行多个任务 import asyncio async def work_1(): for _ in range(5): print('work-1...') """ await: 1.可以获取IO任务执行成功之后的返回值 2.在这个任务执行之前我会堵塞这个程序 阅读全文
posted @ 2025-07-09 17:22 Steven0325 阅读(9) 评论(0) 推荐(0)
摘要: python多进程+多线程实例 import multiprocessing import concurrent.futures import time class MultiProcessAndThread: def __init__(self, data): self.data = data d 阅读全文
posted @ 2025-06-10 17:19 Steven0325 阅读(22) 评论(0) 推荐(0)
摘要: 利用BeautifulSoup解析HTML # -*- coding: utf-8 -*- from bs4 import BeautifulSoup import requests import pandas as pd class HTMLUtil: def __init__(self): se 阅读全文
posted @ 2025-04-24 14:03 Steven0325 阅读(30) 评论(0) 推荐(0)
摘要: python网络请求:下载mp4文件并获取时长 import json import os import random import subprocess import time import requests import urllib3 from requests.adapters import 阅读全文
posted @ 2025-04-24 11:30 Steven0325 阅读(64) 评论(0) 推荐(0)
摘要: 使用PyQt5设计一个题库答题交互界面 使用PyQt5设计一个题库答题交互界面,界面功能包括:题目展示,上下题切换,题目标记,题目删除(逻辑删除),对答案,错题回顾等功能。 import os.path import sys import pandas as pd from PyQt5.QtCore 阅读全文
posted @ 2025-04-24 11:11 Steven0325 阅读(80) 评论(0) 推荐(0)
摘要: 使用pyinstaller打包python文件 1. 下载pyinstaller 根据自己python版本,下载合适pyinstaller版本,我的python版本为3.6,查询pyinstaller合适版本为4.0及以下。 注意:pyinstaller安装位置与项目尽量为一个环境。 pip ins 阅读全文
posted @ 2025-04-24 11:00 Steven0325 阅读(36) 评论(0) 推荐(0)
摘要: 永久解决matplotlib中文乱码问题 1. 拷贝Simhei.ttf字体文件至以下目录 /root/software/anaconda3/envs/tensorflow/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf # 根据自 阅读全文
posted @ 2023-12-04 09:55 Steven0325 阅读(215) 评论(0) 推荐(0)