python - 数据类型不匹配导致比较失败？ Pig中的Python UDF

Question

我在Pig脚本中使用Python UDF遇到麻烦。我相信问题是我假设输入增量是一种实际上并不存在的格式，但是我不确定如何解决它(Python n00b)。

注意:在Hadoop v.2.0.0，Pig v.0.11.0，Python 2.4.3的Cloudera(cdh4.3)发行版上。

import org.apache.pig.impl.logicalLayer.schema.SchemaUtil as SchemaUtil

@outputSchema("adj:float")
def cumRelFreqAdj(deltas):

    # create bins of increment 0.01
    a = [i*-0.01 for i in range(100)]
    a = a[1:len(a)]
    b = [i*0.01 for i in range(101)]
    a.extend(b)
    a.sort()
    bins = a

    # build cumulative relative frequency distribution
    cumfreq = [0]*200
    for delta in deltas:
        for bin in range(len(bins)):
            if delta <= bins[bin]:
                cumfreq[bin] += 1

    cumrelfreq = [float(cumfreq[i]) / max(cumfreq) for i in range(len(cumfreq))]

    crf = zip(bins, cumrelfreq)

    for relfreq in crf[:]:
        if relfreq[1] > 0.11:    # 10%ile
            adj = relfreq[0] + 0.05
            break

    return adj

我需要先将输入内容转换为列表吗？

Answer 1

回答了我自己的问题。 Pig的输入是一袋元组。在我的情况下，每个元组都有一个元素，例如:{(-0.01)，(-0.03)，(0.00001)，(-0.2383)，(0.158)}。

因此，为了将其与另一个列表箱中的float型元素进行比较，我需要插入以下内容:

delta = list(delta)[0]

在上方的第16和17行之间，以拉出作为元组内容的浮点型数据元素。然后，第18行的比较将起作用。