windows - Windows 中的 PrivCopyFileExW 错误？

Question

我正在发出许多并行的 robocopy 调用，以将文件从一个网络共享复制到一个目录中。由于文件是只读的，我告诉 robocopy 通过/A-:R 去除目标目录中的只读属性。好像在一些多核机器(12个或更多)的目标目录下!最多锁定 16 秒。

当并发 MSBuild 任务正在运行并且 CopyFile 任务是在只读文件上执行时，这个问题就会出现。当执行 robocopy 以从网络共享并行下载 TFS 构建的依赖项时，也会发生这种情况。由于所有这些问题都指向 kernel32 CopyFile(或其私有(private)实现)，我怀疑该问题与 Windows 复制文件的方式有关。

这似乎不是内核中的普遍问题，因为临时文件夹存在于必须可以并发访问目录这一事实。但 CopyFile 的 kernel32.dll 中的用户模式实现似乎有缺陷。

更新 2 对于下面的重现，无论文件是否只读，都会发生这种情况。

更新 3 此重现在 Windows 8 上也显示了相同的问题。

procmon 堆栈跟踪确实表明魔法发生在 kernel32.dll 里面 PrivCopyFileExW 似乎没有记录。有一个IRP_MJ_CREATE发出调用以打开目录，稍后目录关闭。当许多并行的 robocopy 进程试图将文件复制到一个目录时，这似乎是竞争条件的根本原因。

这是一些 procmon输出这个问题的感觉。

到底为什么 PrivCopyFileExW 设法锁定目录？文件系统应该能够支持将文件复制到一个目录中。我正在使用 Windows Server 2008 R2 和一些带有 RAID 阵列、SSD 和类似东西的最新多核机器。

这似乎与报告的问题有关 CopyFile in kernel32.dll直到今天还没有解决。我可以排除病毒扫描程序，因为在没有安装病毒扫描程序的机器上也会发生这种情况。

更新 1

似乎另一个 robocopy 进程确实尝试将文件复制到打开目录的目标目录

Date & Time:    20.03.2012 08:30:06
Event Class:    File System
Operation:  CreateFile
Result: SUCCESS
Path:   C:\temp\dest
TID:    11672
Duration:   0.0000150
Desired Access: Read Data/List Directory, Write Data/Add File, Write EA, Read Attributes, Write Attributes, Delete, Synchronize
Disposition:    OpenIf
Options:    Directory, Synchronous IO Non-Alert, Open For Backup
Attributes: D
ShareMode:  None  <---- No sharing
AllocationSize: 0
OpenResult: Opened

0   fltmgr.sys  FltpPerformPreCallbacks + 0x2f7 0xfffff88001045027  C:\Windows\system32\drivers\fltmgr.sys
1   fltmgr.sys  FltpPassThroughInternal + 0x4a  0xfffff880010478ca  C:\Windows\system32\drivers\fltmgr.sys
2   fltmgr.sys  FltpCreate + 0x293  0xfffff880010652a3  C:\Windows\system32\drivers\fltmgr.sys
3   ntoskrnl.exe    IopParseDevice + 0x5a7  0xfffff800031cb537  C:\Windows\system32\ntoskrnl.exe
4   ntoskrnl.exe    ObpLookupObjectName + 0x585 0xfffff800031c1ba4  C:\Windows\system32\ntoskrnl.exe
5   ntoskrnl.exe    ObOpenObjectByName + 0x1cd  0xfffff800031c6b7d  C:\Windows\system32\ntoskrnl.exe
6   ntoskrnl.exe    IopCreateFile + 0x2b7   0xfffff800031cd647  C:\Windows\system32\ntoskrnl.exe
7   ntoskrnl.exe    NtCreateFile + 0x78 0xfffff800031d7398  C:\Windows\system32\ntoskrnl.exe
8   ntoskrnl.exe    KiSystemServiceCopyEnd + 0x13   0xfffff80002eca813  C:\Windows\system32\ntoskrnl.exe
9   ntdll.dll   NtCreateFile + 0xa  0x7718fc0a  C:\Windows\System32\ntdll.dll
10  kernel32.dll    BaseCopyStream + 0x11a9 0x77034b89  C:\Windows\System32\kernel32.dll
11  kernel32.dll    BasepCopyFileExW + 0x545    0x77033d85  C:\Windows\System32\kernel32.dll
12  kernel32.dll    PrivCopyFileExW + 0xb6  0x770b5296  C:\Windows\System32\kernel32.dll
13  Robocopy.exe    CZDir::CopyData + 0xb5  0xff8623a9  C:\Windows\System32\Robocopy.exe
14  Robocopy.exe    RoboCopyDir + 0xe4  0xff85af00  C:\Windows\System32\Robocopy.exe
15  Robocopy.exe    Walk + 0x12a    0xff85c6b6  C:\Windows\System32\Robocopy.exe
16  Robocopy.exe    wmain + 0x4f4   0xff85de78  C:\Windows\System32\Robocopy.exe
17  Robocopy.exe    operator+ + 0x19b   0xff867be5  C:\Windows\System32\Robocopy.exe
18  kernel32.dll    BaseThreadInitThunk + 0xd   0x7703f33d  C:\Windows\System32\kernel32.dll
19  ntdll.dll   RtlUserThreadStart + 0x1d   0x77172ca1  C:\Windows\System32\ntdll.dll

另一个 robocopy 想要检查文件是否已经存在并调用 FindFirstFile，这导致打开目录以及完全共享。

Date & Time:    20.03.2012 08:30:06
Event Class:    File System
Operation:  CreateFile
Result: SHARING VIOLATION
Path:   C:\temp\dest
TID:    8280
Duration:   0.0000099
Desired Access: Read Data/List Directory, Synchronize
Disposition:    Open
Options:    Directory, Synchronous IO Non-Alert
Attributes: n/a
ShareMode:  Read, Write, Delete <----- Full sharing
AllocationSize: n/a

0   fltmgr.sys  FltpPerformPreCallbacks + 0x2f7 0xfffff88001045027  C:\Windows\system32\drivers\fltmgr.sys
1   fltmgr.sys  FltpPassThroughInternal + 0x4a  0xfffff880010478ca  C:\Windows\system32\drivers\fltmgr.sys
2   fltmgr.sys  FltpCreate + 0x293  0xfffff880010652a3  C:\Windows\system32\drivers\fltmgr.sys
3   ntoskrnl.exe    IopParseDevice + 0x5a7  0xfffff800031cb537  C:\Windows\system32\ntoskrnl.exe
4   ntoskrnl.exe    ObpLookupObjectName + 0x585 0xfffff800031c1ba4  C:\Windows\system32\ntoskrnl.exe
5   ntoskrnl.exe    ObOpenObjectByName + 0x1cd  0xfffff800031c6b7d  C:\Windows\system32\ntoskrnl.exe
6   ntoskrnl.exe    IopCreateFile + 0x2b7   0xfffff800031cd647  C:\Windows\system32\ntoskrnl.exe
7   ntoskrnl.exe    NtOpenFile + 0x58   0xfffff800031e64a8  C:\Windows\system32\ntoskrnl.exe
8   ntoskrnl.exe    KiSystemServiceCopyEnd + 0x13   0xfffff80002eca813  C:\Windows\system32\ntoskrnl.exe
9   ntdll.dll   NtOpenFile + 0xa    0x7718f9ea  C:\Windows\System32\ntdll.dll
10  KernelBase.dll  FindFirstFileExW + 0x1ee    0x7fefd3a560e   C:\Windows\System32\KernelBase.dll
11  KernelBase.dll  FindFirstFileW + 0x1c   0x7fefd3a58dc   C:\Windows\System32\KernelBase.dll
12  Robocopy.exe    CZDir::Exists + 0xf7    0xff861bb7  C:\Windows\System32\Robocopy.exe
13  Robocopy.exe    RoboCopyDir + 0x58  0xff85ae74  C:\Windows\System32\Robocopy.exe
14  Robocopy.exe    Walk + 0x12a    0xff85c6b6  C:\Windows\System32\Robocopy.exe
15  Robocopy.exe    wmain + 0x4f4   0xff85de78  C:\Windows\System32\Robocopy.exe
16  Robocopy.exe    operator+ + 0x19b   0xff867be5  C:\Windows\System32\Robocopy.exe
17  kernel32.dll    BaseThreadInitThunk + 0xd   0x7703f33d  C:\Windows\System32\kernel32.dll
18  ntdll.dll   RtlUserThreadStart + 0x1d   0x77172ca1  C:\Windows\System32\ntdll.dll

我也可以在 Windows 7 上轻松重现。您只需将两个并行 robocopy 调用中的只读文件循环复制到同一目录中，然后等待它发生(大约 30 秒)。

for /L %i in (1,1,1000) do robocopy /E /XO /COPY:DAT /A-:R C:\ReadOnlySource1  c:\temp\dest
for /L %i in (1,1,1000) do robocopy /E /XO /COPY:DAT /A-:R C:\ReadOnlySource2  c:\temp\dest

您可以只将一个只读文件放入源目录以获得快速复制和许多并发目录访问。这是 Windows 的已知限制，不允许在将文件复制到目录时访问目录吗？

我没有受过教育的观点是，这是一个错误，当您希望以可靠的方式并发访问文件时，它会变得非常讨厌。

Answer 1

看起来我们终于从 MS 获得了针对此问题的修复。他们已经发现并理解了这个问题。但是正式准备好修复程序还需要一些时间。目前它只会针对 Windows 7 进行修复。