apache-spark - Windows 上的 Pyspark : WARN Failed to load NativeSystemBLAS and NativeRefBLAS

Question

我是 Spark 的新手。我在 Windows 10 中安装了 Spark 2.3.0 以使用 PySpark。 我使用 Pyspark 编写了一段代码，然后当我运行它时，它给了我以下警告:

WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

我在网上搜索并找到了一些解决方案，但步骤对我来说不清楚，而且大多数都是针对 Ubuntu 而不是 Windows..

我认为解决方案是安装 BLAS 和 LAPACK ，我从这里下载了二进制包 OpenBLAS https://sourceforge.net/projects/openblas/files/

但我不知道下一步该怎么做才能安装它们以供 Spark 使用？

Answer 1

这可以通过仔细阅读 https://github.com/fommil/netlib-java/ 上的指南来解决。 。

很可能是以下原因之一或两者兼而有之:

1. 您没有使用 -Pnetlib-lgpl 编译 Apache Spark，或添加 com.github.fommil.netlib:all:1.1.2 作为依赖项。没有它，将不会使用任何外部库。建筑很简单，请参阅Failed to load implementation NativeSystemBLAS HiBench
2. 您的系统不知道在哪里可以找到这些库。确保它们位于 %PATH% 上，以便 netlib 可以找到它们。

再次强调，阅读 https://github.com/fommil/netlib-java/ 上的指南是有意义的。