hadoop - HDFS 在存储数据时是否加密或压缩数据？

Question

例如，当我将文件放入 HDFS 时

$ ./bin/hadoop/dfs -put /source/file input

• 文件在存储时是否压缩？
• 文件在存储时是否加密？是否有我们可以指定的配置设置来更改它是否加密？

Answer 1

There HDFS 中没有隐式压缩。换句话说，如果你想让你的数据被压缩，你必须那样写。如果您计划编写 map reduce 作业来处理压缩数据，您将需要使用可拆分压缩格式。

Hadoop 可以处理压缩文件，这是一个很好的 article在上面。此外，中间和最终 MR 输出可以是 compressed .

有一个JIRA关于“HDFS 中的透明压缩”，但我没有看到太多进展。

我认为没有用于加密的单独 API，但您也可以使用压缩编解码器进行加密/解密。 Here是关于加密和 HDFS 的更多详细信息。