摘要：
利用python脚本对文件夹中的大量文件划分训练集train、验证集val和测试集test。source_dir为源文件夹，source_dir目录中可以包含不同种类的文件夹。 import os import shutil import random from pathlib import Pat 阅读全文
posted @ 2025-09-23 15:27
Steven0325
阅读(17)
评论(0)
推荐(0)
摘要：
1. 基本介绍 简介 feapder是一款上手简单，功能强大的Python爬虫框架，内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。 支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。 更有功能强大的爬虫管理系统feaplat为其提 阅读全文
posted @ 2025-07-22 16:58
Steven0325
阅读(97)
评论(0)
推荐(0)
摘要：
1. 启动命令和配置 创建scrapy项目的命令: 1. scrapy startproject 项目名称 2. scrapy genspider 爬虫名称 域名(创建爬虫文件之前需要手动进入到这个项目的根目录之下) 启动scrapy项目的命令: scrapy crawl 爬虫名称 如果大家在执行这 阅读全文
posted @ 2025-07-17 16:10
Steven0325
阅读(17)
评论(0)
推荐(0)
摘要：
1. 协程的使用 1.1 在协程环境中执行多个任务 import asyncio async def work_1(): for _ in range(5): print('work-1...') """ await: 1.可以获取IO任务执行成功之后的返回值 2.在这个任务执行之前我会堵塞这个程序 阅读全文
posted @ 2025-07-09 17:22
Steven0325
阅读(9)
评论(0)
推荐(0)
摘要：
python多进程+多线程实例 import multiprocessing import concurrent.futures import time class MultiProcessAndThread: def __init__(self, data): self.data = data d 阅读全文
posted @ 2025-06-10 17:19
Steven0325
阅读(22)
评论(0)
推荐(0)
摘要：
利用BeautifulSoup解析HTML # -*- coding: utf-8 -*- from bs4 import BeautifulSoup import requests import pandas as pd class HTMLUtil: def __init__(self): se 阅读全文
posted @ 2025-04-24 14:03
Steven0325
阅读(30)
评论(0)
推荐(0)
摘要：
python网络请求：下载mp4文件并获取时长 import json import os import random import subprocess import time import requests import urllib3 from requests.adapters import 阅读全文
posted @ 2025-04-24 11:30
Steven0325
阅读(64)
评论(0)
推荐(0)
摘要：
使用PyQt5设计一个题库答题交互界面 使用PyQt5设计一个题库答题交互界面，界面功能包括：题目展示，上下题切换，题目标记，题目删除（逻辑删除），对答案，错题回顾等功能。 import os.path import sys import pandas as pd from PyQt5.QtCore 阅读全文
posted @ 2025-04-24 11:11
Steven0325
阅读(80)
评论(0)
推荐(0)
摘要：
使用pyinstaller打包python文件 1. 下载pyinstaller 根据自己python版本，下载合适pyinstaller版本，我的python版本为3.6，查询pyinstaller合适版本为4.0及以下。 注意：pyinstaller安装位置与项目尽量为一个环境。 pip ins 阅读全文
posted @ 2025-04-24 11:00
Steven0325
阅读(36)
评论(0)
推荐(0)
摘要：
永久解决matplotlib中文乱码问题 1. 拷贝Simhei.ttf字体文件至以下目录 /root/software/anaconda3/envs/tensorflow/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf # 根据自 阅读全文
posted @ 2023-12-04 09:55
Steven0325
阅读(215)
评论(0)
推荐(0)
浙公网安备 33010602011771号