scala - 将欧氏距离转换为曼哈顿距离

标签 scala apache-spark machine-learning

下面的计算是在spark mlib库中给出的,用于查找欧氏距离

private[mllib] def fastSquaredDistance(
      v1: Vector,
      norm1: Double,
      v2: Vector,
      norm2: Double,
      precision: Double = 1e-6): Double = {
    val n = v1.size
    require(v2.size == n)
    require(norm1 >= 0.0 && norm2 >= 0.0)
    val sumSquaredNorm = norm1 * norm1 + norm2 * norm2
    val normDiff = norm1 - norm2
    var sqDist = 0.0

    val precisionBound1 = 2.0 * EPSILON * sumSquaredNorm / (normDiff * normDiff + EPSILON)
    if (precisionBound1 < precision) {
      sqDist = sumSquaredNorm - 2.0 * dot(v1, v2)
    } else if (v1.isInstanceOf[SparseVector] || v2.isInstanceOf[SparseVector]) {
      val dotValue = dot(v1, v2)
      sqDist = math.max(sumSquaredNorm - 2.0 * dotValue, 0.0)
      val precisionBound2 = EPSILON * (sumSquaredNorm + 2.0 * math.abs(dotValue)) /
        (sqDist + EPSILON)
      if (precisionBound2 > precision) {
        sqDist = Vectors.sqdist(v1, v2)
      }
    } else {
      sqDist = Vectors.sqdist(v1, v2)
    }
    sqDist
  }

我对机器学习非常陌生。我的问题是如何通过修改上面的代码来找到曼哈顿距离。

最佳答案

在没有任何其他上下文的情况下,我建议仅以明显幼稚的方式实现 L1 距离:

d_manhatten(u,v) = sum( abs(u[i] - v[i]), i)     // Pseudocode

现在,我还没有太多地查看你的代码,但看起来其中大部分是(1)关心精度(与 L2 相比,这对于 L1 来说不是一个问题,因为没有平方)并且(2) 使用 L2 范数作为输入(据我所知,无论如何,这对于计算 L1 没有用处)。所以修改当前的方法可能就没那么有用了。

另外,我经常听说过早的优化是万恶之源,所以首先尝试最简单的事情,如果 Not Acceptable ,那么尝试混淆优化:)

关于scala - 将欧氏距离转换为曼哈顿距离,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46120456/

相关文章:

scala - 为什么 Scala 在 Predef 中的 require 方法允许字符串作为参数?

python - 如何让 scikit 从预标记文档中计算文档术语矩阵?

python-2.7 - 在softmax层之前提取输出,然后手动计算softmax给出不同的结果

Scala:获取参数默认值:无法访问伴随对象内的 `apply$default$i`

Scala 编译器无法推断类型参数

Java - 为什么我在求和 double 类型时得到这个奇怪的答案

machine-learning - 我们会计算*测试*集上的成本 J(θ) 吗?

apache-spark - Jupyter Notebook 仅在 Spark 本地运行

eclipse - 使用 scala 将 spark 作业从 eclipse 提交到 yarn-client

scala - 如何在 CSV 中使用双管道作为分隔符?