C# 并行复制 - 小文件问题

Question

我有一个 C# Azure 函数来从 Blob 读取文件内容并将其写入 Azure Data Lake 目标。该代码适用于大文件（~8 MB 及以上），但对于小文件，目标文件用 0 字节写入。我尝试将块大小更改为较小的数字并将并行线程更改为 1，但行为保持不变。我正在模拟 Visual Studio 2017 中的代码。

请找到我正在使用的代码片段。我已经阅读了有关 Parallel.ForEach 限制的文档，但没有遇到任何特定于文件大小问题的内容。（https://docs.microsoft.com/en-us/dotnet/standard/parallel-programming/potential-pitfalls-in-data-and-task-parallelism）

        int bufferLength = 1 * 1024 * 1024;//1 MB chunk

        long blobRemainingLength = blob.Properties.Length;

        var outPutStream = new MemoryStream();

        Queue<KeyValuePair<long, long>> queues = new 

                                             Queue<KeyValuePair<long, long>>();

        long offset = 0;

        while (blobRemainingLength > 0)

        {

            long chunkLength = (long)Math.Min(bufferLength, blobRemainingLength);

            queues.Enqueue(new KeyValuePair<long, long>(offset, chunkLength));

            offset += chunkLength;

            blobRemainingLength -= chunkLength;

        }

        Console.WriteLine("Number of Queues: " + queues.Count);

        Parallel.ForEach(queues,

              new ParallelOptions()

               {

                //Gets or sets the maximum number of concurrent tasks

                MaxDegreeOfParallelism = 10

               }, (queue) =>

                  {

                   using (var ms = new MemoryStream())

                    {

                      blob.DownloadRangeToStreamAsync(ms, queue.Key, 

                                    queue.Value).GetAwaiter().GetResult();

                      lock (mystream)

                        {

                          var bytes = ms.ToArray();

                          Console.WriteLine("Processing on thread {0}", 

                           Thread.CurrentThread.ManagedThreadId);

                           mystream.Write(bytes, 0, bytes.Length);

                        }

                }

             });

Answer 1

我发现我的代码有问题。ADL Stream 编写器未正确刷新和处理。添加必要的代码后，小/大文件的并行化工作正常。