我正在尝试将数据从Google Cloud Storage中的存储桶复制到本地Hadoop集群(我已经在Mac中安装了)。遵循本链接中的指示; Migrating 50TB data from local Hadoop cluster to Google Cloud Storage
但是执行hdfs命令hdfs dfs -ls gs://tempuserstorage时出现以下错误。
17/04/28 15:42:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/04/28 15:42:14 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.6.0-hadoop2
-ls: Google Cloud Storage bucket name must not contain '/' character.
Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]
我也尝试过
hadoop fs -ls gs://tempuserstorage但虽然得到了同样的错误我在这里想念什么吗？
最佳答案
好像在为fs.gs.system.bucket提供值时犯了一个错误。除存储桶名称外(例如mybucket)；我还已经在bucket(mybucket/mydir)中添加了目录，这似乎已引起了问题
关于hadoop - 将数据从Google Cloud Storage复制到本地Hadoop集群，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43688737/