Java流对象stream的distinct方法详解

定义

distinct方法是Java Stream API中的一个中间操作，用于从流中删除重复的元素。它不接受任何参数，并返回一个由流中唯一元素组成的新流。

起源

distinct方法起源于Java 8，作为Stream API的一部分被引入。Stream API为Java开发者提供了一种声明性地处理数据集合（包括数组等）的方式。distinct方法作为其中一个重要的操作，使得数据去重变得更加简洁和高效。

原理细节

1. 基于HashSet实现：distinct方法的内部实现通常依赖于HashSet来完成去重过程。HashSet具有高效的元素唯一性检查能力，因此能够快速地识别并删除重复元素。
2. equals和hashCode方法：distinct方法依赖于元素的equals和hashCode方法来判断元素是否重复。因此，在使用distinct方法时，需要确保这些方法的实现逻辑正确，以便能够准确地判断元素是否相等。
3. 惰性求值：distinct方法是一个中间操作，遵循Stream API的惰性求值原则。这意味着它不会立即执行去重操作，而是等到需要结果时才进行计算。这有助于提高性能，并允许在流处理过程中进行更复杂的操作组合。

用途

distinct方法的主要用途是从流中删除重复的元素，确保数据集中的元素唯一。这在数据清理、去重和集合操作中非常有用。

使用场景

1. 数据清理：在处理数据集时，可能需要删除重复的元素以避免重复数据带来的问题。例如，从一个包含用户信息的列表中删除重复的用户记录。
2. 去重操作：在需要对数据进行去重处理的场景中，distinct方法是一个简单而有效的选择。例如，从一个包含整数的列表中删除重复的值。
3. 结合其他操作：distinct方法可以与其他Stream操作结合使用，以实现更复杂的数据处理逻辑。例如，可以先对流进行过滤操作，然后再使用distinct方法去除重复元素。

示例代码

示例代码一

import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;

public class DistinctExample {
    public static void main(String[] args) {
        List<Integer> numbers = Arrays.asList(1, 2, 3, 2, 4, 5, 3, 6, 4, 7, 5);
        List<Integer> distinctNumbers = numbers.stream().distinct().collect(Collectors.toList());
        System.out.println("Distinct Numbers: " + distinctNumbers);
    }
}

 

Distinct Numbers: [1, 2, 3, 4, 5, 6, 7]

 

在这个示例中，我们使用distinct方法从包含重复整数的列表中删除了重复的值，并得到了一个包含唯一整数的列表。

示例代码二

import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;

public class DistinctExample {
    public static void main(String[] args) {
        // 整数列表去重
        List<Integer> numbers = Arrays.asList(1, 2, 2, 3, 4, 4, 5);
        List<Integer> uniqueNumbers = numbers.stream()
                                             .distinct()
                                             .collect(Collectors.toList());
        System.out.println(uniqueNumbers); // 输出: [1, 2, 3, 4, 5]

        // 自定义对象列表去重
        List<Person> people = Arrays.asList(
            new Person("Alice", 30),
            new Person("Bob", 25),
            new Person("Alice", 30) // 重复的对象
        );

        List<Person> uniquePeople = people.stream()
                                          .distinct() // 需要Person类正确实现equals和hashCode
                                          .collect(Collectors.toList());
        uniquePeople.forEach(System.out::println);
    }
}

class Person {
    private String name;
    private int age;

    public Person(String name, int age) {
        this.name = name;
        this.age = age;
    }

    @Override
    public boolean equals(Object o) {
        if (this == o) return true;
        if (o == null || getClass() != o.getClass()) return false;
        Person person = (Person) o;
        return age == person.age && Objects.equals(name, person.name);
    }

    @Override
    public int hashCode() {
        return Objects.hash(name, age);
    }

    @Override
    public String toString() {
        return "Person{name='" + name + "', age=" + age + "}";
    }
}

在这个例子中，我们展示了如何对整数列表和自定义对象列表进行去重。对于自定义对象，我们需要注意正确实现 equals 和 hashCode 方法，以确保 distinct 方法能够正确地识别重复项。

总结

distinct 方法是处理集合时的一个强大而简便的工具，它可以让代码更清晰，并且减少了潜在的错误。通过合理利用 Java Stream API 提供的各种操作，包括 distinct，开发者可以写出更高效、更易维护的代码。