我想使用 MapReduce 编程在 HDFS 中保存和访问类似表的数据结构。此DS的部分内容如下图所示。这个 DS 有几万列和几百行,所有节点都应该可以访问它。
我的问题是:如何将此 DS 保存在 HDFS 中并使用 MapReduce 编程访问它。我应该使用数组吗? (或 Hive 表?或 Hbase?)
谢谢。
最佳答案
HDFS 是分布式文件系统,它将您的大文件存储在分布式服务器中。
您可以使用命令将您的文件从本地系统复制到HDFS
hadoop fs -copyFromLocal/source/local/path destincation/hdfs/path
复制完成后,可以在 destincation/hdfs/path 上形成一个外部配置单元表。
可以使用 hive shell 查询此表。
关于hadoop - 在hadoop中保存和访问类似表的数据结构,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39846055/