performance - Hadoop 集群 - 正常集群和安全集群之间的性能差异

标签 performance hadoop kerberos hadoop2

普通 Hadoop 集群与配置了 Kerberos 和 SSL 的安全 Hadoop 集群之间的性能是否存在差异?

考虑到两种类型的集群的机器配置相同,完成作业所需的时间是否不同?如果是,我们是否有任何关于时差的已知时间指标?就像,

  • 正常集群 - 1.5 小时
  • 安全集群 - 2.5 小时

最佳答案

是的。由于 Kerberos 和 SSL,所有 API 调用都会产生开销。

作业完成时间会有所不同,但如果不知道作业中调用 API 的次数,就无法知 Prop 体时间是多少。一般来说,影响很小,但由于您在工作流程中引入了另一个网络组件(KDC),因此您可能会遇到显着的性能下降 取决于您的集群有多大以及 KDC 和集群之间的任何网络问题,以及 KDC 的配置方式。请参阅以下内容了解更多信息。

https://community.hortonworks.com/questions/31205/performance-impact-of-security-ssl-tde-ranger-kerb.html

https://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_scalability.html#kerberos_overhead_cluster_size

HTTP vs HTTPS performance

关于performance - Hadoop 集群 - 正常集群和安全集群之间的性能差异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44037745/

相关文章:

hadoop - 在 Mapper 类中检索到的键和值的空白/空值

hadoop - Datanode之一磁盘卷故障

jquery - CSS/jQuery Slider 减慢整个页面和字幕

performance - hive -4表联接

react-native - React Native Inline 函数理解

linux - Windows 使用 Kerberos 作为默认身份验证机制。 Unix/Linux 和 Mac 的默认身份验证机制是哪一种?

ssh - 不能使用 Cygwin 使用 GSSAPI(Kerberos 身份验证方法)ssh 吗?

jquery - 使用 Jquery 和 Ajax 更新表行

hadoop - HDFS空间配额-如果父文件夹的配额少于其子文件夹的配额,该怎么办

.net - WCF委派有什么好的资源吗?