hadoop - 在hadoop中保存和访问类似表的数据结构

标签 hadoop data-structures mapreduce hdfs bigdata

我想使用 MapReduce 编程在 HDFS 中保存和访问类似表的数据结构。此DS的部分内容如下图所示。这个 DS 有几万列和几百行,所有节点都应该可以访问它。

enter image description here

我的问题是:如何将此 DS 保存在 HDFS 中并使用 MapReduce 编程访问它。我应该使用数组吗? (或 Hive 表?或 Hbase?)

谢谢。

最佳答案

HDFS 是分布式文件系统,它将您的大文件存储在分布式服务器中。

您可以使用命令将您的文件从本地系统复制到HDFS

hadoop fs -copyFromLocal/source/local/path destincation/hdfs/path

复制完成后,可以在 destincation/hdfs/path 上形成一个外部配置单元表。

可以使用 hive shell 查询此表。

关于hadoop - 在hadoop中保存和访问类似表的数据结构,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39846055/

相关文章:

java - 使用 2 个堆栈的队列,O(1) 中的删除

hadoop - 如何更改 hadoop 中的映射器内存要求?

python - Hadoop 流 : Mapper 'wrapping' a binary executable

c - 如何实现两种结构的链表

java - 用于存储整数的 HashMap 替代方案

java - 复杂的 MapReduce 配置场景

hadoop - 如何在 PigLatin 的 SUM 中计算乘法

java - 来自 Java 的 HDFS - 指定用户

java - Hadoop MapReduce : using MapWritable as a key

hadoop - pig - 获取最大计数