处理一批 PDF,怎么算真的处理完了
批量处理 PDF,最怕脚本跑完一声不响,你不知道有没有哪页被悄悄漏掉。
这就需要把要校验的几处逐个摆出来:拆完页数怎么核对、哪些页没抽出文本、遮盖后文字是不是还在、清单上哪些文件得单独标出来。
每一步生成的东西都回头再抽一次。脚本没报错、输出文件一个不少都不算数,得靠第二次抽取的数字说话。
下面用 5 份课程材料走一遍:课程论文、习题讲义、往届范文,归档前要拆页、抽表、把作者信息和答案页盖掉。
1. 先分「错了能不能重来」
要决定每处验得多严,先按一件事把这批活分开:做错了能不能重跑一次补救。
5 份模拟材料:4 份完整,1 份是下载到一半、没写完的文件。
raw = path.read_bytes()
if not raw.startswith(b"%PDF-") or b"%%EOF" not in raw:
raise ValueError("文件不完整,打不开")
待归档文件 5 份: ['下载中断.pdf', '习题讲义_01.pdf', '往届范文.pdf', '课程论文_01.pdf', '课程论文_02.pdf']
按「错了能不能重来」分两组:
可逆:拆分页数、抽取文本、生成清单 → 发现不对重跑一次就行
不可逆:遮盖作者信息与答案 → 归档公开后收不回来,必须验完再发
| 分组 | 包含的活 | 错了会怎样 |
|---|---|---|
| 可逆 | 拆分页数、抽取文本、生成清单 | 发现不对,重跑一次就行 |
| 不可逆 | 遮盖作者信息、答案页 | 归档公开后收不回来 |
上面那两行检查就是分组之外的第一道闸:下载中断.pdf 卡在 %%EOF 上,直接抛 ValueError,清单里「能打开」是「否」。
PDF 还有个让这件事更麻烦的特点:它不像表格那样少一行一眼能看出来,页面只是个容器,文字藏在内容流里,改完从外表几乎看不出差别,所以「看着没问题」在这类文件上特别不可靠。
分组不是为了分类好看,是决定每步要验得多严。
可逆那组出问题只是浪费时间;不可逆那组一旦没验出来,材料已经发出去了。
所以后面三小节的顺序是风险递进,不是操作顺序——这几件事之间本来就没有先后依赖,拆页不必等抽取,清单也不必等遮盖。
2. 拆完页数对不对得上
可逆那组里,先做最不容易出事的一件:把 5 页的讲义按每 2 页拆成 3 份,得到 2、2、1 页,相加正好 5。
怎么把文件拼起来、怎么写页码,这里不讲;要讲的是拆完拿什么核对。
declared = int(re.search(r"/Count\s+(\d+)", text).group(1))
page_objs = len(re.findall(r"/Type\s*/Page\b", text))
原文件页数(数内容流): 5 → 拆成 3 份: [2, 2, 1] ;相加 = 5
核对: 对得上
课程论文_02:/Count 声明 3 页, 全文扫到 /Type /Page 对象 4 个 → 不一致,得查
坑就在最后这行上。/Count 声明 3 页,可全文扫到 4 个 /Type /Page 对象——多出来的是一个没挂进页面树的孤儿对象。
PDF 允许增量更新留下这种残留,阅读器照常打开,只看声明值的脚本却会把它漏掉。所以核对页数得数实际的内容流,不能只信元数据写的那个数。按「每 N 页」拆的时候,最后一份不足 N 页也最容易在循环里被漏掉,输出里 [2, 2, 1] ;相加 = 5 这一步不能省。
拆出来的 3 份写进输出目录,总页数对得上,这一步才算完。但「对得上」只说明页没丢,不说明页里的内容都拿到了。
3. 哪些页没抽出东西
页数对得上,还差一步:看每页到底抽出了多少文字。
PDF 里的文字不是像素,是内容流里的一串编码,长这样:<FEFF...> Tj。
抽取器做的事就是把这些串找出来、解回文本。
for s in streams:
lines = [ln for ln in s.split("\n") if "Tj" in ln]
if not lines:
empty_pages += 1
习题讲义_01.pdf:5 页里 2 页没抽出任何文字
合计没抽出文字的页: 2 → 空字符串不等于「这页是空的」,可能整页是扫描图
跑下来,5 页讲义里有 2 页一个字都没抽出来,这两页是扫描版,整页只有图,没有文本层。
麻烦在于抽取器对这种情况不报错,它只是安静地吐一个空字符串。
要是把空串当成「这页没内容」跳过,清单上就永远看不出有这两页存在。
所以无文本层的页得单独数、单独标,别混进正常结果里。至于这两页后面是送去 OCR 还是人工看一眼,脚本不替你决定,它只负责标出来——只标记,不替人删,这是整套流程里反复要守的一条。
这也是为什么这一步要放在遮盖之前:先知道哪些页根本没读到,才谈得上后面遮没遮对。
4. 遮住了不等于删掉了
可逆的两件查完,轮到不可逆这组。
要遮的是作者姓名、学号、参考答案和解析,这份材料里一共 5 处。
做两版:一版在那一带画一个黑矩形,文字那行留着;一版把含敏感词的那行 Tj 整个去掉。
if sensitive:
drawn_lines.append("0 0 0 rg 45 762 500 20 re f") # 只盖一层黑框
removed_lines.append("") # 真删:连 Tj 一起去掉
两版生成完,各自再抽一次文本数敏感词,脚本打印的是:
遮盖前文本层里的敏感词: 5 处
只画黑框后,再抽一次: 5 处 → 看着盖住了,文字还在
真正删掉 Tj 后,再抽一次: 0 处
结论: 遮住了不等于删掉了
黑框版看着盖得严严实实,可再抽一次还是 5 处,文字仍在内容流里,搜索、复制、或者随便一个抽取脚本都能把它原样抠出来。原因是 PDF 里文字和图形是两层,矩形只是叠在上面,没有动底下那行字。
真删版把那行 Tj 抽掉,再抽就是 0。
这种「叠一层图形」的做法很常见,不少编辑器里的遮盖工具就是这么实现的,导出时底层文字原封不动。
所以验证不能靠人眼扫一遍了事,得固化成脚本里的第二次抽取:每次遮盖完自动再数一遍,数到 0 才算过。这就是标题那句「怎么算真的处理完了」最实在的一层:文件生成了、页面看着对了,都不算;回头抽一次,数字说了算。可逆组没验出来顶多重跑,这一组没验出来,材料已经公开了。
5. 清单与沉默的失败
逐处验完,把所有文件的结果收到一张清单里,脚本打印出来是这样:
| 文件 | 实际页 | 无文本层页 | 能打开 | 备注 |
|---|---|---|---|---|
| 下载中断.pdf | — | — | 否 | 文件不完整 |
| 习题讲义_01.pdf | 5 | 2 | 是 | 含扫描页 |
| 往届范文.pdf | 2 | 0 | 是 | — |
| 课程论文_01.pdf | 4 | 0 | 是 | — |
| 课程论文_02.pdf | 3 | 0 | 是 | 元数据与页面对象数不一致 |
print("标记出来的:",
[r["文件"] for r in table if r["备注"] or r["能打开"] == "否"])
标记出来的: ['下载中断.pdf', '习题讲义_01.pdf', '课程论文_02.pdf']
5 份里标出 3 份:一份根本打不开、一份有两页没读到、一份元数据对不上。
这三种情况脚本都不会报错,输出文件也一个不少——安静的失败最容易被当成成功。清单里除了页数和字节数,专门留了「能打开」「无文本层页」「备注」三列,就是为了让它们没法沉默。
脚本内部「声明页数」和「页面对象数」也特意分成两个值:课程论文_02 那份 3 对 4,两个数打架本身就是信号,合成一列就看不见了。
还有个顺序上的别扭:清单其实该最先跑。先知道哪些文件打不开、哪些整本是扫描件,再决定后面怎么拆、怎么抽、要不要先做 OCR,比全部处理完才发现合理得多。把它当收尾报告写,就白白晚了一步。
6. 串成一个入口
几处验证和清单都齐了,最后把它们收成一个入口。
五步各是一个函数,run_pipeline 按序跑完,重跑前先清输出目录,免得上次的拆分文件混进清单。
files = overview(cfg)
split_check(cfg)
extract_check(cfg)
cover_check(cfg)
inventory(cfg, files)
输出目录里留下 3 份拆分 PDF、两版遮盖 PDF 和一份 清单.csv。
生成这些极简 PDF 和解析内容流那几十行样板都在 pdf_pipeline.py 里,正文没贴——它用的是标准中文字体对象和 UTF-16 编码的内容流,生成的 PDF 结构合法,但定位只是「让文本层看得见」,一般的 PDF 阅读器打不开也正常。
文中用到的完整测试代码,测试文件以及输出文件共享在:处理一批 PDF,怎么算真的处理完了.zip https://url11.ctfile.com/f/45455611-17569912439448-7bc23d?p=6872

浙公网安备 33010602011771号