之前，我有 5.3.0 版的 Kibana/Elasticsearch。 在我的 java 项目中，依赖项是:
- hbase-客户端/服务器… 1.2.1
- hadoop-hdfs/common ... 2.5.1
- Elasticsearch -hadoop 5.3.0
- 星火 (spark-core_2.11) 1.3.0
整体功能正常。
我想在 6.3.1 版本中更新 Kibana/ES。 兼容哪些版本的 Hadoop/spark？我找不到兼容性矩阵...
- hbase-客户端/服务器… ?
- hadoop-hdfs/common… ?
- elasticsearch-hadoop 6.3.1 ?
- Spark (spark-core_2.11) 1.6.1 ?
谢谢。
最佳答案
elasticsearch-hadoop binary is suitable for Hadoop 2.x (also known as YARN) environments. Support for Hadoop 1.x environments are deprecated in 5.5 and will no longer be tested against in 6.0.
Spark 是针对 Hadoop 2.6+ 构建的，因此您应该升级 Hadoop 作为此处的最小公分母。出于多种原因(例如错误修复和 AFAIK)，您肯定也应该使用 Spark 2.x，RDD API 处于“维护模式”，建议使用 DataFrame
HBase 文档有自己的兼容性图表，但与 Elasticsearch 无关。最新稳定的Hbase是1.4.3
1.2.1 看起来像一个 Hive 版本号，而且该版本工作正常，但同样不是最新的稳定 1.x 版本
关于apache-spark - Hadoop - Elasticsearch - Spark 版本兼容性，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51961746/