azure - 将 HDInsight 群集升级/迁移到最新版本

标签 azure hadoop azure-hdinsight

我确定这已发布在某处或已传达,但我似乎找不到有关从 HDInsight 群集从一个版本升级/迁移到下一个版本的任何信息。

一些背景知识。自 2014 年 1 月 24 日起,我们一直使用 Hive 和 HDInsight 来存储所有 IIS 日志。我们喜欢它,它为我们的团队提供了很好的洞察力。

我最近正在审查http://azure.microsoft.com/en-us/documentation/articles/hdinsight-component-versioning/并注意到我们的 HDInsight 版本 (2.1.3.0.432823) 不再受支持,并将于 5 月份弃用。这让我开始思考如何进入 3.2 版本。我似乎找不到任何关于如何做到这一点的信息。

有谁知道这是否可能以及如何实现?

最佳答案

HDInsight 使用 Azure 存储来存储持久数据,因此只要您使用 wasb://*/* 来存储数据,您就应该能够创建新集群并指向旧数据。存储地点。本文对存储架构进行了很好的概述:http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-blob-storage/

如果您正在使用 Hive 并且尚未设置自定义元存储,那么您可能需要保存或重新创建一些表。这是一篇涵盖其中一些场景的博客文章:http://blogs.msdn.com/b/bigdatasupport/archive/2014/05/01/hdinsight-backup-and-restore-hive-table.aspx

您可以配置新集群并将现有集群的存储容器添加为“附加”存储帐户来测试此功能,而无需先关闭当前集群。 Just be sure not to have both clusters using the same container as their default storage .

关于azure - 将 HDInsight 群集升级/迁移到最新版本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28773020/

相关文章:

azure - 如何在 Databricks 中的 Iceberg 表上执行 Spark SQL 合并语句?

Azure VM加载运行时CuDNN库: 8. 2.4,但源是用: 8. 6.0编译的

Python 自定义视觉预测器失败

java - 在 hadoop 中使用 Combiner 和 Reducer 类

azure - Azure HDInsight 上的 webHDFS URL 是什么?

azure - HDInsight 模拟器未在 Windows 上运行/连接异常

azure - 如何检查 Azure SQL 托管实例上的数据库还原花费了多长时间?

java - 如果我们在运行时在 HBase 中创建 namespace 和表,它会影响应用程序的性能吗?

hadoop - 为什么在HiveServer2中保留Tez队列?

hadoop - 如何在 mapreduce 作业中获得适当大小的输入拆分