.net - 使用 HDInsight hadoop 进行存储

标签 .net azure hadoop bigdata azure-hdinsight

我非常想知道有关hadoop hdinsight的一则信息。

这篇来自微软的文章:https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/

解释hadoop内部使用存储帐户来存储数据。

假设上述信息是方法,那么hadoop和存储帐户之间有什么区别。 如果我只想存储文件等信息,我可以只使用存储帐户而不是创建 hdinsight hadoop? 此外,如果 hadoop 'hadoopCluster' 使用存储帐户 'stgAccount' 是否意味着存储帐户 'stgAccount' 空间和 'hadoopCluster' 空间相同吗?

最佳答案

基本上,在 HDInsight 部署中,您有两个部分:

  1. HDInsight 集群由多个头节点和工作节点(运行软件的虚拟机)组成
  2. 用于存储数据的 Azure Blob 存储。

Azure Blob 存储是一种安全的分布式数据存储。无论您是否使用 HDInsight,都可以使用它。这只是一个有自己定价的云存储。因此,如果您只想将文件存储在云中,那么您绝对不需要 HDInsight。

HDInsight 群集不是。实际上,您会发现您直接存储在头节点磁盘上的任何内容有时都会消失。

HDInsight 群集可以访问您在创建群集时指定的存储,并且可以向该存储读取/写入数据。

关于.net - 使用 HDInsight hadoop 进行存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32324499/

相关文章:

c# - 该组件没有由 uri 标识的资源

c# - 机器人遇到错误或错误。要继续运行该机器人,请修复机器人源代码

hadoop - 如何附加到 Hadoop 用户程序中的现有文件?

Azure 表存储 REST OData 不支持 $count 和 $orderby

hadoop - 有没有办法在单独的文件中设置查询参数(变量)?

hadoop - Spark对象运行时错误

c# - SafeWaitHandle 与 SafeFileHandle c#

c# - 链接 IEnumerable<T> 扩展方法的首选(性能和可读性)方式是什么?

.net - Windows平台上不同类型的DLL

具有 Easy Table 和 Easy API 的 Azure 移动应用程序出现错误 "Unsupported Service"