scala - 如何在 Spark 中使用 BLAS 库?

标签 scala apache-spark blas

我是 Scala 的新手,我正在用 Scala 编写一个 Spark 应用程序,我需要使用 axpy函数来自 org.apache.spark.mllib.linalg.BLAS .但是,用户似乎无法访问它。相反,我尝试导入 com.github.fomil.netlib并直接访问它。但我也可以。我需要乘以 DenseVector。

最佳答案

现在,mllib 中的 BLAS 类被标记为 private[spark]在 Spark source code .这意味着,正如您似乎已经发现的那样,无法从外部访问以激发自身。简而言之,您不能在代码中使用它。

如果想直接使用netlib-java类,需要在项目中添加如下依赖

libraryDependencies += "com.github.fommil.netlib" % "all" % "1.1.2" pomOnly()

这应该允许您导入 BLAS 类。请注意,我还没有真正尝试使用它,但我可以执行 BLAS.getInstance()没有问题。如此处所述 - https://github.com/fommil/netlib-java 在某些 Linux 平台上安装可能会有些复杂.

关于scala - 如何在 Spark 中使用 BLAS 库?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31861629/

相关文章:

python - 在 Spark 数据框中生成可重复的唯一 ID

c++ - BLAS 产品 dgemm 使用 CblasTrans 选项时行为异常

c++ - 将英特尔的 MKL(BLAS 和 LAPACK)链接到 GCC

java - 如何使用 Proguard 缩小 scala swing 库?

scala - 如何正确使用 scalac -Xlint

scala - Spark 中的广播变量

c - 哪种内存访问模式对于外积型双循环最有效?

java - 等同于 Scala 中的公共(public)静态最终字段

sql-server - SparkSQL MS SQL Server,编译后获取消息 "No suitable driver"

hadoop - hdfs:在sparkR shell中读取Parquetfile时没有此类文件或目录错误