Azure 数据工厂无法访问 IP 受限 VNet 中的 HDInsight 群集

标签 azure azure-hdinsight azure-virtual-network azure-data-factory

我在 Azure VNet 上有一个 HDInsight Hadoop 群集(Linux,单独部署)(使用 NSG 限制客户端 IP)。

Azure SQL 防火墙有一个名为“允许访问 Azure 服务”的选项,该选项允许数据工厂访问 Azure SQL。

在 VNet 中没有这样的选项,您必须指定 IP 地址范围或设置标签(Internet、虚拟网络、AzureLoadBalancer)。我以为 AzureLoadBalancer 会解决这个问题,但事实并非如此 - HDInsight 仍然对 Azure 数据工厂隐藏。

我尝试查找数据工厂端口范围,但未成功。

有没有办法从 Azure 数据工厂访问安全的 HDInsight Linux 群集?

最佳答案

Azure 数据工厂 V2 支持该方案。它需要在 HDInsight 群集的 vnet 中部署 Azure 自托管集成运行时 (IR)。自托管 IR 允许数据工厂服务将处理请求分派(dispatch)到虚拟网络内的计算服务(例如 HDInsight)。 另请参阅以下Documentation .

关于Azure 数据工厂无法访问 IP 受限 VNet 中的 HDInsight 群集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39209919/

相关文章:

azure - 如何将数据上传到 HDInsight 中的 Hive?

azure - 使用 Pulumi 将现有 VNet 添加到 Azure KeyVault 失败

azure - 如何更改退出虚拟机的不同虚拟网络/子网?

javascript - Azure 服务器无法对请求进行身份验证。确保授权 header 的值格式正确,包括签名

hadoop - Windows服务器上的Hadoop:是否支持HDInsight for Windows服务器在域 Controller 上运行?

mysql - MySQL 是否与 EF Core 2.0 兼容?

azure - microsoft azure 集群和存储帐户之间的区别

Azure - 无法获取 "Network Profile"

java - Microsoft Graph API getMemberGroups 返回 400 错误请求。可能是什么原因?

node.js - Azure函数: NodeJS - HTTP Response Renders as XML rather than HTML