azure - Azure Databricks DBFS 数据集存储在哪里?

标签 azure databricks azure-databricks

我将数据上传到Azure Databricks,可以看到DBFS列表中有数据集,但在Databricks所属的资源组中找不到任何数据集。

Azure Databricks DBFS 数据集存储在哪里?

此外,如果我创建 Delta Lake,如何从 Azure 数据工厂调用 Delta Lake?我看不到三角洲湖储存在哪里。

最佳答案

Where are Azure Databricks DBFS datasets stored?

DBFS 中的默认存储位置称为DBFS 根。 您可以在 /databricks-datasets 中找到任何数据集:请参阅 special DBFS Root location .

Ref1

Databricks 文件系统 (DBFS) 是安装到 Azure Databricks 工作区中的分布式文件系统,可在 Azure Databricks 群集上使用。 DBFS 位于可扩展对象存储 ADLS gen2 之上。

how can I call the delta lake from Azure Data factory?

您可以引用此视频,也可以引用以下引用资料:

https://www.youtube.com/watch?v=evqQRwsF_Ps

引用:

https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory

https://learn.microsoft.com/en-us/azure/databricks/data/databricks-file-system#--important-information-about-dbfs-permissions

https://learn.microsoft.com/en-us/azure/databricks/data/databricks-datasets

关于azure - Azure Databricks DBFS 数据集存储在哪里?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71877878/

相关文章:

azure - 从 YAML 配置 azure-pipelines 中的构建中排除项目

azure - 是否可以使用 Azure CLI 设置监视 URL Ping 测试?

scala - 将 S3 挂载到数据 block

python - 模块未找到错误: No module named 'dbutils'

azure - 使用 Spark 删除 Azure blob 中的文件的更快方法是什么?

azure-data-lake - 从数据 block 连接到数据湖(ADLS Gen2)存储时出错

powershell - Azure Runbook - GetAzurermlog

c# - 使用 Microsoft Graph 生成承载 token

azure - 使用 com.crealytics :spark-excel 检测到 fs.azure.account.key 的配置值无效

azure - 如何将触发器参数传递到Azure数据工厂中的笔记本