hadoop - 设置 20TB 存储 : use normal file system or hadoop

标签 hadoop filesystems hdfs

我是一名年轻的研究人员,打算购买一台计算服务器用于(也许是“大”)数据分析。服务器将有20TB的硬盘空间。我目前的问题是我应该使用普通的 linux 文件系统还是 hadoop hdfs 作为系统。谁能解释一下这两种选择的优缺点?

最佳答案

在单个节点(一台服务器)上安装 HDFS 确实没有意义。 HDFS 完全是关于分布数据,以便计算任务靠近数据运行,并拥有数据的冗余副本以能够容忍硬件故障。单个节点不会提供单一的 HDFS 优势。如果您有一个集群 机器(例如 10 台服务器)那么是的,您可以问这个问题。照原样,HDFS 不是一个选项。

关于hadoop - 设置 20TB 存储 : use normal file system or hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39675376/

相关文章:

r - R脚本的分布式调度系统

在 Windows 中更改文件所有者

shell - 在 hadoop 文件系统中创建目录

hadoop - Apache Drill读取gz和快速的性能

linux - 如何检查某个位置是在 NFS 还是 RAM 上

hadoop - 合并HDFS文件而无需通过网络

hadoop - Sqoop 从 Hcatalog 导出到具有不同 col 名称的 MySQL assign

hadoop - 在 Amazon EMR 上制定执行时间表

Hadoop 备用 SSH key

linux - 如何从 ext4 文件系统数据中提取文件?