2024年8月8日
ecosia 搜索引擎爬虫
摘要： 因为他有cloudflare五秒盾 所以需要先破五秒盾 网上找的资料已验证可用 然后替换代码里的url_base Docker运行一个容器就可以了。启动命令为： docker run -d \ --name=flaresolverr \ -p 8191:8191 \ -e LOG_LEVEL=inf 阅读全文
posted @ 2024-08-08 16:50 射满东城湖 阅读(82) 评论(0) 推荐(0)
python 大文件去重
摘要： #!/usr/bin/env python # -*- coding: utf-8 -*- def filters(input_file, output_file): try: seen_domains = set() with open(output_file, mode='a+', encodi 阅读全文
posted @ 2024-08-08 16:41 射满东城湖 阅读(33) 评论(0) 推荐(0)
python 分割txt
摘要： def split_file(file_path, num_parts): # 读取原始文件的所有行 with open(file_path, 'r', encoding='utf-8') as f: lines = f.readlines() # 计算每个部分应包含的行数 num_lines_pe 阅读全文
posted @ 2024-08-08 16:40 射满东城湖 阅读(85) 评论(0) 推荐(0)
2022年9月9日
谷歌搜索批量采集第一页结果title
摘要： 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # author:么么哒 4 import requests 5 import re 6 from concurrent.futures import ThreadPoolExecutor, wa 阅读全文
posted @ 2022-09-09 17:23 射满东城湖 阅读(71) 评论(0) 推荐(0)
2022年7月25日
show.php+全局引
该文被密码保护。 阅读全文
posted @ 2022-07-25 16:19 射满东城湖 阅读(2) 评论(0) 推荐(0)
2022年7月18日
百度搜索当天收录采集
摘要： #!/usr/bin/env python # -*- coding: utf-8 -*- # author:么么哒 import requests import re def Reptile(): for num in range(0,750,10): with open('test.txt', 阅读全文
posted @ 2022-07-18 15:53 射满东城湖 阅读(62) 评论(0) 推荐(0)
2022年7月16日
单线程从url读取txt采集越南小说
摘要： #-*-coding:utf-8-*- import requests import re import os import time import random #for i in range(3,28,1): #url = "https://www.baidu.com/page/"+str(i) 阅读全文
posted @ 2022-07-16 15:09 射满东城湖 阅读(122) 评论(0) 推荐(0)
python 按行分割txt
摘要： # -*- coding: <encoding name> -*- import io LIMIT = 30 file_count = 0 url_list = [] with io.open('D:\\xiaoshuo\\xiaoshuo.txt','r',encoding = 'utf-8') 阅读全文
posted @ 2022-07-16 15:07 射满东城湖 阅读(155) 评论(0) 推荐(0)
2022年6月25日
php引蜘蛛+寄生虫+加密包含
该文被密码保护。 阅读全文
posted @ 2022-06-25 09:17 射满东城湖 阅读(2) 评论(0) 推荐(0)
aspx引蜘蛛+寄生虫
该文被密码保护。 阅读全文
posted @ 2022-06-25 09:13 射满东城湖 阅读(1) 评论(0) 推荐(0)
下一页