azure - 我什么时候应该使用 Azure ML Notebooks 和 Azure Databricks？我认为两者都是竞争对手的产品

Question

非常不言自明的问题。我什么时候应该使用 Azure ML Notebooks 和 Azure Databricks？我觉得这两种产品之间有很大的重叠，其中一种产品的营销肯定比另一种更好。

我主要寻找有关数据集大小和典型工作流程的信息。如果我没有面向 Spark 的工作流程，为什么应该使用 Databricks 而不是 AzureML？

谢谢!

Answer 1

@Nethim，从我的角度来看，这些是主要区别:

1. 数据分布:

   • 当您在单台计算机上使用有限的数据进行训练时，Azure ML Notebook 非常有用。虽然Azure ML提供了训练集群，但节点之间的数据分布是在代码中处理的。
   • Azure Databricks 及其 RDD 旨在处理分布在多个节点上的数据。当您的数据量很大时，这是有利的。当您的数据量很小并且可以容纳在扩大的单台计算机中/您正在使用 pandas 数据框时，那么使用 Azure databricks 就有点大材小用了

2. 数据清理: Databricks 可以原生支持多种文件格式，并且查询和清理大型数据集很容易，因为这必须在 AzureML 笔记本中进行自定义处理。这可以通过 aml 笔记本来完成，但必须处理清理和写入存储的工作。

3. 培训 两者都具有分布式训练的功能，Databricks 提供内置的 ML 算法，可以作用于该节点上的数据 block 并与其他节点协调。虽然这可以通过 tf、horovod 等在 AzureMachineLearning 和 Databricks 上完成，

一般来说(只是我的观点)，如果数据集很小，aml笔记本就很好。如果数据量很大，那么Azure databricks很容易进行数据清理和格式转换。然后可以在AML或databricks上进行训练。虽然 databricks 有一个学习曲线，但 Azure ML 使用 python 和 pandas 可以很容易。

谢谢。