并行执行异步方法的最佳实践

前言

最近写了三篇关于并行异步的博客,因为我走了很多弯路。

并行执行异步方法并接收返回值这个问题,stackoverflow上讨论好几年,.NET 6实现了Parallel.ForeachAsync。https://stackoverflow.com/questions/15136542/parallel-foreach-with-asynchronous-lambda

.NET 6 中的 API Parallel.ForEachAsync 在官方的博客中一直被忽略,但是我觉得这个 API 非常的实用!(这句话参考了博客:https://blog.csdn.net/sD7O95O/article/details/117914853)

要求

  1. 必须接收处理返回值

示例1

示例2

代码说明

  1. 上述代码我觉得非常优雅,java是无法优雅地写出来的,会很难阅读和维护。java19也许可以。
  2. 使用场景:普通的增删改查功能估计是用不到,但我用到了。
  3. 上述代码的并行度,可以根据es集群的性能和吞吐量以及具体需求,进行合理的调整。

可以复制的代码

上述代码是图片不方便复制,可以复制的代码在 探索:优雅地实现异步方法的并行执行 文章的最后。

简单的示例Demo代码

private async void button4_Click(object sender, EventArgs e)
{
    await Task.Run(async () =>
    {
        Log($"==== 并行异步 开始,线程ID={Thread.CurrentThread.ManagedThreadId} ========================");
        Stopwatch sw = Stopwatch.StartNew();
        HttpClient httpClient = HttpClientFactory.GetClient();
        var tasks = new Dictionary<string, Task<Dictionary<int, int>>>();
        ConcurrentQueue<string> strs = new ConcurrentQueue<string>();

        await Parallel.ForEachAsync(Enumerable.Range(0, m), new ParallelOptions() { MaxDegreeOfParallelism = 100 }, async (i, c) =>
        {
            int sum = 0;
            await Parallel.ForEachAsync(Enumerable.Range(0, n), new ParallelOptions() { MaxDegreeOfParallelism = 30 }, async (j, c) =>
            {
                Dictionary<int, int> dict = await RequestAsync(_url, i);
                if (dict.ContainsKey(j))
                {
                    int num = dict[j];
                    Interlocked.Exchange(ref sum, sum + num);
                    strs.Enqueue($"{num}");
                }
            });
            Log($"输出:sum={sum}");
        });

        Log($"输出:{string.Join(",", strs.ToArray())}");
        sw.Stop();
        Log($"==== 结束,线程ID={Thread.CurrentThread.ManagedThreadId},耗时:{sw.Elapsed.TotalSeconds:0.000}秒 ========================");
    });
}

上述代码说明

代码中 Parallel.ForEachAsync(Enumerable.Range(0, m),... 代替了for循环。

posted @ 2023-02-13 16:43  0611163  阅读(631)  评论(0编辑  收藏  举报