10 2020 档案

摘要:小文件可以加载到内存一块去重, 大文件不行. 大文件去重步骤: 定义小文件大小 计算小文件总数 大文件按规则拆分到小文件 小文件去重 小文件合并为大文件 代码: package com.util.file; import com.util.FileUtils; import lombok.Build 阅读全文
posted @ 2020-10-22 17:49 AlbertXe 阅读(199) 评论(0) 推荐(0)
摘要:确定每个线程读的 开始和结束位置 , 因为是读文件,结束位置不是行末的话,结束位置继续往后移动一位,直到行末 通道映射技术 https://blog.csdn.net/qq_41969879/article/details/81629469 package com.util.file; import 阅读全文
posted @ 2020-10-21 10:04 AlbertXe 阅读(408) 评论(0) 推荐(0)