c#-将(多个)文件复制到多个位置

2019-11-11 22:16:05 阅读：223 来源： 互联网

标签：file-copying multithreading file-io c net

我想使用C#(.NET 4.5)将一组文件复制到多个位置(例如,将文件夹的内容复制到连接到计算机的2个USB驱动器上).
有没有比仅使用foreach循环和File.Copy更有效的方法？

努力寻求(可能的)解决方案.

我的第一个想法是某种多线程方法.经过一番阅读和研究之后,我发现就IO而言(按照Why is Parallel.ForEach much faster then AsParallel().ForAll() even though MSDN suggests otherwise?),盲目地建立某种并行和/或异步过程并不是一个好主意.

瓶颈是磁盘,特别是如果它是传统驱动器,因为它只能同步读取/写入.那让我开始思考,如果我读一次然后在多个位置输出,该怎么办？毕竟,在我的USB驱动器方案中,我要处理多个(输出)磁盘.

我在弄清楚如何做到这一点上遇到了麻烦.我看到的一个想法(Copy same file from multiple threads to multiple destinations)是将每个文件的所有字节读取到内存中,然后遍历目标位置并将字节写到每个位置,然后再移动到下一个文件.如果文件可能很大,这似乎是个坏主意.我要复制的某些文件是视频,可能是1 GB(或更多).我无法想象将1 GB的文件加载到内存中只是将其复制到另一个磁盘上是个好主意吗？

因此,为更大的文件提供了灵活性,以下是我最近的(基于How to copy one file to many locations simultaneously).这段代码的问题是我仍然没有发生一次读取和多次写入的情况.当前是多读和多写.有没有办法进一步优化此代码？我可以先将大块读入内存,然后再将该大块写入每个目标,然后再移动到下一个大块(就像上面的想法,但是将大块文件而不是整个文件)？

files.ForEach(fileDetail =>
    Parallel.ForEach(fileDetail.DestinationPaths, new ParallelOptions(),
        destinationPath =>
        {
            using (var source = new FileStream(fileDetail.SourcePath, FileMode.Open, FileAccess.Read, FileShare.Read))
            using (var destination = new FileStream(destinationPath, FileMode.Create))
            {
                var buffer = new byte[1024];
                int read;

                while ((read = source.Read(buffer, 0, buffer.Length)) > 0)
                {
                    destination.Write(buffer, 0, read);
                }
            }
        }));

解决方法:

通常,IO操作应视为异步操作,因为有些硬件操作在代码外部运行,因此您可以尝试为读/写操作引入一些异步/等待构造,以便您可以在硬件操作期间继续执行.

while ((read = await source.ReadAsync(buffer, 0, buffer.Length)) > 0)
{
    await destination.WriteAsync(buffer, 0, read);
}

您还必须将您的lambda委托标记为异步才能完成此工作：

async destinationPath => 
...

您应该一直等待最终的任务.您可以在这里找到更多信息：

Parallel foreach with asynchronous lambda

Nesting await in Parallel.ForEach

标签：file-copying,multithreading,file-io,c,net
来源： https://codeday.me/bug/20191111/2022852.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

c#-将(多个)文件复制到多个位置