2023年6月27日
局部敏感哈希LSH（SimHash与MinHash）
摘要： SimHash 1.算法思想 假设我们有海量的文本数据，我们需要根据文本内容将它们进行去重。对于文本去重而言，目前有很多NLP相关的算法可以在很高精度上来解决，但是我们现在处理的是大数据维度上的文本去重，这就对算法的效率有着很高的要求。 而局部敏感hash算法可以将原始的文本内容映射为数字（hash 阅读全文
posted @ 2023-06-27 16:46 阿凡卢 阅读(627) 评论(0) 推荐(0) 编辑