我已经下载了Spark的源代码,按照官方文档解压构建如下:
wget http://ftp.tc.edu.tw/pub/Apache/spark/spark-1.2.0/spark-1.2.0.tgz .
tar xzf spark-1.2.0.tgz
cd spark-1.2.0
mvn -Pyarn -Phadoop-2.2 -Dscala-2.11 -DskipTests clean package
最后我将程序集 jar 文件传输到本地:
scp root@host:/home/workspace/spark-1.2.0/assembly/target/scala-2.11/spark-assembly-1.2.0-hadoop2.2.0.jar ~
我打算在Intellij Idea中将这个jar文件导入到我的项目中,但是IDE无法识别这个jar,并且抛出了一个错误: 'IDEA 无法确定所选项目包含的文件类型。从列表中选择适当的类别。 ,如下图所示:
不好的是,我的编辑窗口有很多语法错误,都和Spark包和Hadoop包有关,而不管上面提到的语法错误,在这种情况下项目都可以成功构建。
附言
jar -tf XXX.jar
查看此 jar 的内容工作正常。 这是一个普通的 .jar 文件的样子:
我已将这个 jar 上传到 BaiDu_YunFile , 谁能给我一些想法?非常感谢!
最佳答案
检查 Intellij IDEA 使用的 jdk 版本( Perfrence-->About Intellij IDEA )。如果版本太低,则无法正确解析 jar。如果您使用的是 mac IDEA,只需在 IDEA 内容文件夹的 info.plist 中将 jvm 版本更新为 1.7 或更高版本。
关于intellij-idea - 为什么IDEA无法识别Spark jar文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28317511/