java - Apache Tika ArchiveStreamFactory.detect 错误

Question

我正在使用 java 和 apache tika 1.18 将一些文件转换为 TXT。 当我尝试使用 AutoDetectParser() 时，出现错误:

[ERROR ] 错误处理时出错，放弃! org.apache.commons.compress.archivers.ArchiveStreamFactory.detect(Ljava/io/InputStream;)Ljava/lang/String; [错误] SRVE0777E:应用程序类“org.apache.cxf.service.invoker.AbstractInvoker.createFault:162”引发的异常 org.apache.cxf.interceptor.Fault: org.apache.commons.compress.archivers.ArchiveStreamFactory.detect(Ljava/io/InputStream;)Ljava/lang/String; 在 org.apache.cxf.service.invoker.AbstractInvoker.createFault(AbstractInvoker.java:162) 在[内部类(class)] 引起:java.lang.NoSuchMethodError: org.apache.commons.compress.archivers.ArchiveStreamFactory.detect(Ljava/io/InputStream;)Ljava/lang/String;

我在网上叮叮当当，发现这个错误与commom_compress 的错误版本有关，看来这个方法在commom_compress 1.14 之前的版本中不存在。在我的例子中，版本是 1.16.1。

构建项目后，我检查了里面的库，只有正确的版本。

我正在使用 IBM Liberty 18.0 ......现在我真的不知道解决这个问题的选择。

当我使用特定的解析器(如 PDFParser())时，一切正常!

有什么想法吗？

谢谢

Answer 1

问题来源:

Spark 2.x 发行版包含旧版本的 commons-compress，而 Tika 库依赖于 1.18 版的 commons-compress 库。

解决方案

在您的 spark-shell 或 spark-submit 中使用 --driver-class-path 参数指向正确版本的 commons-compress 库。

spark-submit 
     --driver-class-path ~/.m2/repository/org/apache/commons/commons-compress/1.18/commons-compress-1.18.jar
     --class {you.main.class}
....

Check my detailed answer here.