我正在尝试将数据从SQL数据库迁移到具有Hadoop的HBase。但是问题是我的数据库在SQL中有70 GB的空间,当我将其转移到Hadoop时需要大约400 GB。为什么会这样呢?有什么办法可以减少使用的空间。
如果我有800 GB的SQL数据库数据,还需要多少磁盘空间。
最佳答案
经过大量搜索之后,我遇到了一些结果,我将数据存储为Hadoop的默认格式,即文本格式。因此,与其他存储相比,它将消耗大量空间来存储数据。 Manjunath也是正确的,因为我们减少了复制因子,它可能会减少存储空间,但也会引起一些问题。有关此主题的更多信息,请引用下面提到的链接:
http://datametica.com/rcorc-file-format/
关于hadoop - HDFS元数据占用太多空间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33772656/