摘要： 最近在处理文件的时候，遇到文件内容存在大量重复项的情况，很显然需要文件内容去重。因为使用的是Python，本来想要找找Python文件内容去重的方法，但是看到的基本利用Set或者List等方法（还没来得及逐一验证）。后来，找到一个利用Shell脚本写的文件内容去重，用了一下觉得很赞，在... 阅读全文