Hadoop 最近推出了静态加密 (HDFS-6134)。我想知道 Spark 是否也支持它？我的意思是 Spark 可以处理以加密格式存储在 HDFS 中的数据吗？
最佳答案
是的，Spark 将能够在不对应用程序代码进行任何更改的情况下访问数据。数据对应用程序透明地加密，这意味着您的所有 Java API 和命令行界面都像以前一样工作，无需任何更改。该框架将在不打扰您的情况下进行加密。
这是文档中的引述:
HDFS implements transparent, end-to-end encryption. Once configured, data read from and written to HDFS is transparently encrypted and decrypted without requiring changes to user application code.
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/TransparentEncryption.html
然而，您将需要添加/修改一些配置。 Here's a worked example.
另请参阅 blog.cloudera.com/blog/2015/01/new-in-cdh-5-3-transparent-encryption-in-hdfs
关于hadoop - Spark 是否支持静态加密？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28842839/