如何读取不同列车节点中的 Azure 文件数据集(包含 1000 个图像)的一部分。
我想要一个覆盖所有图像的样本。
我正在寻找像tensorflow.dataset.shard()这样的选项。
谢谢。
最佳答案
您可以使用 Pipelines 中的 ParallelRunStep 并以 FileDataset 作为输入。请参阅:https://learn.microsoft.com/en-us/azure/machine-learning/how-to-use-parallel-run-step和 https://learn.microsoft.com/en-us/python/api/azureml-contrib-pipeline-steps/azureml.contrib.pipeline.steps.parallelrunstep?view=azure-ml-py
关于azure-machine-learning-service - Azure 机器学习 FileDataSet 图像 - 平均分片/拆分到节点，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60992252/