intellij-idea - 为什么IDEA无法识别Spark jar文件?

标签 intellij-idea jar apache-spark

我已经下载了Spark的源代码,按照官方文档解压构建如下:

wget http://ftp.tc.edu.tw/pub/Apache/spark/spark-1.2.0/spark-1.2.0.tgz .
tar xzf spark-1.2.0.tgz
cd spark-1.2.0
mvn -Pyarn -Phadoop-2.2 -Dscala-2.11 -DskipTests clean package

最后我将程序集 jar 文件传输到本地:
scp root@host:/home/workspace/spark-1.2.0/assembly/target/scala-2.11/spark-assembly-1.2.0-hadoop2.2.0.jar ~

我打算在Intellij Idea中将这个jar文件导入到我的项目中,但是IDE无法识别这个jar,并且抛出了一个错误: 'IDEA 无法确定所选项目包含的文件类型。从列表中选择适当的类别。 ,如下图所示:

Error when import jar in Intellij Idea

不好的是,我的编辑窗口有很多语法错误,都和Spark包和Hadoop包有关,而不管上面提到的语法错误,在这种情况下项目都可以成功构建。

附言
  • 我 100% 确定我的其他一些 jar 文件(例如在 .m2 目录中)可以正常导入而不会出现上述错误/警告。
  • 如果我将相同的 jar 文件导入 Eclipse,它会被成功识别。我已经在 IDEA-13 和 IDEA-14 中测试了这个 jar,但都失败了。
  • 通过 jar -tf XXX.jar 查看此 jar 的内容工作正常。
  • 将这个有问题的 .jar 文件添加到我的项目中后,我什至无法查看 jar 文件的内容。
    cant_view_jar_content

    这是一个普通的 .jar 文件的样子:
    normal_jar_file

  • 我已将这个 jar 上传到 BaiDu_YunFile , 谁能给我一些想法?非常感谢!

    最佳答案

    检查 Intellij IDEA 使用的 jdk 版本( Perfrence-->About Intellij IDEA )。如果版本太低,则无法正确解析 jar。如果您使用的是 mac IDEA,只需在 IDEA 内容文件夹的 info.plist 中将 jvm 版本更新为 1.7 或更高版本。

    关于intellij-idea - 为什么IDEA无法识别Spark jar文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28317511/

    相关文章:

    java - 从 gradle 依赖项构建 jar 文件

    java - Spark 转换和 Action 的逻辑是否需要线程安全?

    scala - 如何避免在 Spark Scala 中迭代使用 withColumn?

    java - 在 Linux 上运行 selenium WebDriver jar 时出错(在 Windows 上工作正常)

    java - 无法在intellij idea中加载库jni ffmpeg

    javascript - Webstorm IDE 和 AngularJS angular.module 未解析的方法

    intellij-idea - 如何在对话框中显示 IntelliJ JSON 编辑器?

    java - 我如何知道哪个项目正在从 Maven 请求特定的 jar

    caching - spark中memory_only和memory_and_disk缓存级别有什么区别?

    java - 从 Maven 运行 gwt - IntelliJ