上海交通大学硕士博士学位论文批量下载工具

本文原始地址：https://blog.oliverxu.cn

上海交通大学硕士博士学位论文批量下载工具

上海交通大学有一个硕士博士学位论文系统，里面有所有的硕士博士学位论文，但是由于其网站速度非常慢（论文拆分成一张一张图片），经常打开的时候挂了，严重影响体验。所以写了这么一个批量下载某个专业所有硕士或者博士学位论文的小工具。

说是为了版权保护，反正使用体验像屎一样。

项目地址：https://github.com/olixu/SJTU_Thesis_Crawler

解决方案：

使用PyMuPDF对图片进行合并

安装依赖：

pip install -r requirements.py

使用方式：

python downloader.py

ToDo List

1. 如何解决thesis.lib.sjtu.edu.cn限制访问次数的问题

2. 引入协程，提高并发（以前试过，不过由于网站太慢了，并行就崩了），多进程的版本可以看commit

3. 改进交互能力及已存在的bug

效果：