java - 无法使用本地 hadoop 连接 azure blob 存储

标签 java azure hadoop hdfs

尝试将本地hadoopAZUREBLOB存储连接时(即使用blob存储作为HDFS>)与 Hadoop 版本 - 2.7.1,它抛出异常

这里我已经通过设置属性成功形成了本地集群

<property>
    <name>fs.default.name</name>
    <value>wasb://accoun<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="5f2b1f2c2b302d3e383a713d33303d713c302d3a712836313b30282c71313a2b" rel="noreferrer noopener nofollow">[email protected]</a></value>
</property>

后面是 core-site.xml 中 Blob 存储的键值。

在列出文件或对 blob 存储进行 HDFS 操作时,出现以下异常

 ls: No FileSystem for scheme: wasb

请任何人指导我解决上述问题。

最佳答案

  1. 您需要添加hadoop-azure.jar在 hadoop 类路径中。
  2. 下载 azure-storage-java项目并使用 maven 构建它,然后您将获得 azure-storage-3.0.0.jar。将构建的 jar 添加到 hadoop 类路径中。

现在您可以进行所有操作了。请参阅Azure Blob Storage文档以获取更多信息。

关于java - 无法使用本地 hadoop 连接 azure blob 存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32264020/

相关文章:

java - 在 spring bean 中访问 Db 时的线程安全

hadoop - Hadoop 中的映射器数量

hadoop - Hbase 2.2.5 Shell扫描表发出问题

ubuntu - apt-get install hadoop-0.20-fuse - 找不到包

java - 将 N 维数组映射到 M 维数组,其中 M > N

java - 在无尽的流中保持和最大频率的数字

java - Play Framework 1.2.4 将项目导出/导入到 Eclipse IDE

azure - 如何将安全证书添加到应用服务

Azure API 网关 - 将 JWT token 发送到后端

c# - 在 Azure 搜索文档中使用枚举