Azure CLI - 将 Azure DevOps 通用包下载到 AzureML 计算实例时出现 "Hard linking failed!"

Question

我们需要额外的二进制文件，例如 ML 计算上的超正方体或预训练模型。由于这些没有在 Azure ML 计算实例中预先配置，并且我们需要限制外部访问，因此我们需要以不同的方式加载它们。我们现在尝试通过 Azure 工件通用包。 不幸的是，这不起作用: 将 azure devops 扩展安装到 ml 计算实例后，我们可以下载该工件，但我无法安装它。我收到以下错误: 遇到意外错误。

System.IO.IOException: Hard linking failed! 
 Status: Failed 
 Path: tesseract/tesseract-ocr_4.00~git2288-10f4998a-2_amd64.deb
   at Microsoft.VisualStudio.Services.BlobStore.WebApi.DedupStoreClient.DownloadToFileAsync(DedupNode node, String fullPath, Uri proxyUri, EdgeCache edgeCache, CancellationToken cancellationToken)
   at Microsoft.VisualStudio.Services.BlobStore.WebApi.DedupStoreClientWithDataport.DownloadToFileAsync(IDedupDataPort dataport, DedupNode node, String fullPath, Uri proxyUri, EdgeCache edgeCache, CancellationToken cancellationToken)

Answer 1

这是由于在重复数据删除机制中使用了硬链接(hard link)，该机制作为 ADO 工件提取过程的一部分运行。

AML 计算实例的初始目录指向 ~/cloudfiles/code ，它托管在网络文件系统上。网络文件系统通常缺乏对硬链接(hard link)的支持。

在修复之前 - 作为解决方法 - 您可以定位不同的目录，例如 /tmp/甚至 ~/ 。如果您的文件必须位于共享文件系统或缺乏硬链接(hard link)支持的文件系统上，则可以将它们移动到您选择的目录。

---

对于在调查硬链接(hard link)的类似问题时可能找到此页面的任何人，您可以使用: strace -yy -f -e trace=link,unlink -o /tmp/linktraces.txt -- <command> 并阅读linktraces.txt文件，查找产生错误的事件。这应该有助于识别文件系统尝试链接的目标。如果这没有帮助，请更改为 trace=file范围更广。

strace上面的标志含义如下:

• -yy启用文件句柄到路径的转换。
• -f跟踪进程的分支，跟踪子进程中的相同事件。
• -e trace=(events)根据系统调用名称或类别选择要跟踪的事件。
• -o指定在哪里写入痕迹；省略时，它会写入控制台，尽管输出可能很多。