azure - 由于无法访问实例而无法创建 Azure Databricks 群集

标签 azure azure-virtual-network azure-databricks

我正在尝试在 Azure Databricks 中创建集群并收到此类错误消息

Resources were not reachable via SSH. If the problem persists, this usually indicates a network environment misconfiguration. Please check your cloud provider configuration, and make sure that Databricks control plane can reach Spark clusters instances.

我有这样的默认配置:

集群模式:标准

池:

运行时版本:5.5 LTS

启用自动缩放

工作线程类型:Standard_DS3_v2

驱动程序类型:Standard_DS3_v2

从日志分析中,我看到 Azure 尝试创建虚拟机,但没有任何原因(我想是因为它们无法访问)必须删除所有虚拟机。

有人遇到过这样的问题吗?

最佳答案

如果问题是暂时的,则可能是由于虚拟机的驱动程序出现故障或网络问题造成的,因为 Azure Databricks 能够启动集群,但与托管 Spark 驱动程序的实例失去了连接(引用 this) 。您可以尝试删除它并重新创建集群。

如果问题仍然存在,则当您有 Azure Databricks workspace deployed to your own VNet 时可能会发生这种情况。如果部署工作区的虚拟网络已对等互连或具有与本地资源的 ExpressRoute 连接,则当 Azure Databricks 尝试创建工作区时,虚拟网络无法与群集节点建立 ssh 连接。簇。您可以添加用户定义的路由 (UDR) 来为 Azure Databricks 控制平面提供对群集实例的 ssh 访问权限。

有关详细的 UDR 说明,请参阅 Step 3: Create user-defined routes and associate them with your Azure Databricks virtual network subnets 。有关 VNet 相关的更多故障排除信息,请参阅 Troubleshooting

希望这可以帮助你。

关于azure - 由于无法访问实例而无法创建 Azure Databricks 群集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58525613/

相关文章:

azure - 如何使用代码验证逻辑应用 microsoft.web/connections 连接

node.js - 创建后从设备 JSON 生成 Azure IoT 中心的连接字符串

python - 如何从 Azure 数据工厂管道将参数传递给 python 脚本

python - 无法从 python 文件运行 azure databricks

python - 如何将本地模块导入azure databricks笔记本?

azure - 在 Azure 流分析上获取正在行驶的汽车之间的实时距离

azure - 我的 Azure Web 应用程序可以访问虚拟网络的内部 DNS 吗?

Azure CloudApp - 如何正确设置 CNAME DNS (NGINX)

azure - 为什么 Azure 应用程序网关需要空子网

azure - Azure DevOps 中的 "Build after the previous execution has succeeded"