hadoop - Hadoop-3.0.0 与旧版本的 Hive、Pig、Sqoop 和 Spark 的兼容性如何

标签 hadoop apache-spark hive apache-pig sqoop

我们目前在 10 节点集群上使用 hadoop-2.8.0,并计划升级到最新的 hadoop-3.0.0

我想知道如果我们将hadoop-3.0.0与旧版本的Spark和其他组件(如Hive、Pig和Sqoop)一起使用,是否会出现任何问题。

最佳答案

最新的Hive版本不支持Hadoop3.0,看来以后Hive可能会建立在Spark或者其他计算引擎上。

关于hadoop - Hadoop-3.0.0 与旧版本的 Hive、Pig、Sqoop 和 Spark 的兼容性如何,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47920005/

相关文章:

windows - Windows 中的 Hadoop : file not found exception

pandas - pyspark/EMR 中大型 DataFrame 上的collect() 或 toPandas()

apache-spark - df.show()在hdfs中显示不为空的结果

mysql - 为什么在从 hive 导出到 mysql 期间,sqoop 在数字列的 NumberFormatException 上失败

hadoop - 从 Hive 中的多个表中选择数据

hadoop - 无法在 ubuntu 机器上卸载通过 CDH5 安装的 sqoop

hadoop - map->map->reduce->reduce->最终输出

Hadoop/Yarn/Spark 我可以调用命令行吗?

python - PySpark DataFrame 无法正确解析时间

hadoop - 外部和内部表性能之间的区别?