凹凸曼大人

2020年12月13日

摘要： #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Jun 12 09:37:38 2018 利用百度api实现图片文本识别 @author: XnCSD """ import glob from os import p 阅读全文

posted @ 2020-12-13 15:18 凹凸曼大人阅读(606) 评论(2) 推荐(0) 编辑

python 两种多线程比较，有时多线程有可能变成累赘

摘要：首先我是为了把这56w左右的数据清洗变成这样：从一个txt清洗，写到另一个txt中。原本是几千条数据，一直用的普通的，速度还挺快，今天想清洗这56w数据，就想到了多线程。第一种方法： def huoqu(file): ts_queue = Queue(10000) with open(f 阅读全文

posted @ 2020-12-13 15:13 凹凸曼大人阅读(266) 评论(0) 推荐(0) 编辑

2020年12月12日

scrapy 错误2 ，不能分开提取不同的item值，并且item值不能为空

摘要：例子： yield { 'IP': '', 'port': '', 'imgname': b, 'imgurl': links,} 我是为了爬取图片，就把另两个item为空，并且在pipelines 中设置： def process_item(self, item, spider): if item 阅读全文

posted @ 2020-12-12 22:15 凹凸曼大人阅读(271) 评论(0) 推荐(0) 编辑

Scrapy 爬取重大注意事项！！因为这个困扰了我4天，头发都掉光了。。

摘要：原因爬取某站：则么试都没问题，代码提取没问题。 IP = response.xpath('//*[@class="mimvp-tbl free-proxylist-tbl"]/tbody/tr/td[2]//text()').extract() port = response.xpath('//* 阅读全文

posted @ 2020-12-12 22:03 凹凸曼大人阅读(139) 评论(0) 推荐(0) 编辑

2020年12月9日

scrapy shell请求带请求头

摘要：写法： scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" https://www.zhihu.com/question/2859084 阅读全文

posted @ 2020-12-09 21:33 凹凸曼大人阅读(104) 评论(0) 推荐(0) 编辑

python3 正则匹配IP+端口

摘要： import re pattern = re.compile(ur'(\d|[1-9]\d|1\d{2}|2[0-4]\d|25[0-5])\.(\d|[1-9]\d|1\d{2}|2[0-4]\d|25[0-5])\.(\d|[1-9]\d|1\d{2}|2[0-4]\d|25[0-5])\.(\ 阅读全文

posted @ 2020-12-09 19:36 凹凸曼大人阅读(2957) 评论(0) 推荐(0) 编辑

2020年12月8日

python批量删除文件，多线程版【五】

摘要： import os from queue import Queue import threading import datetime def read_directory(directory_name): wenjian=[] ts_queue = Queue(10000) for filename 阅读全文

posted @ 2020-12-08 16:20 凹凸曼大人阅读(666) 评论(0) 推荐(0) 编辑

python合并所有的ts，带密钥【四】

摘要： import os wenjian = input("请输入文件名：") mingcheng = input ("请输入合并后Mp4名称：") t= r'start /d "D:\Study\pythonProject\Python_down_m3u8\xiazaiqi\%s" ffmpeg -f 阅读全文

posted @ 2020-12-08 16:17 凹凸曼大人阅读(267) 评论(0) 推荐(0) 编辑

python下载，由于前面多线程+网络波动下载失败的文件，建议多刷几次【三】

摘要： import requests from fake_useragent import UserAgent import re from queue import Queue import threading import datetime class xiazai(): def __init__(s 阅读全文

posted @ 2020-12-08 16:16 凹凸曼大人阅读(244) 评论(0) 推荐(0) 编辑

python下载，需要密钥版下载，多线程版【二】

摘要： #多线程赋值用字典格式试下第二种方法顺便把for循环用正则表达看能不能快点 #适应两种 m3u8 读取的格式 import requests import os import datetime import threading import re from queue import Queu 阅读全文

posted @ 2020-12-08 16:14 凹凸曼大人阅读(228) 评论(0) 推荐(0) 编辑

公告