标签 apache-spark
我正在尝试设置 spark，但我不知道用户提供的 Hadoop 的含义。
为什么“选择包类型”菜单说“ 和 用户提供的Hadoop”，而“下载Spark”菜单说“spark-1.6.0-bin- 没有 -hadoop.tgz” ”。
我很困惑是否需要或不需要hadoop。
最佳答案
这个选项意味着你必须提供你的 hadoop jars，假设它安装在你的集群上
关于apache-spark - 什么是 "Pre-build with user-provided Hadoop"包，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35502046/
相关文章：
python - 如何将标准输入数据作为输入输入到 spark 脚本
python - 如何将多处理池分配给 Spark Worker
apache-spark - Spark 无法读取 AvroParquetWriter 写入的 Parquet 文件中的 DECIMAL 列
scala - Spark 斯卡拉: GroupByKey and sort
scala - saveAsNewAPIHadoopFile() 在用作输出格式时出错
eclipse - 为什么我可以在没有spark-submit的情况下直接在eclipse中运行spark应用程序
java - 在 Spark 上运行 AWS S3 客户端时出现 NoSuchMethodError，而 javap 则显示其他错误