python - 使用 Aerospike Python 客户端 udf 从 Aerospike 中的一组记录中删除多个 bin

Question

如何使用 Aerospike Python 客户端 udf 从 Aerospike 中一个集合的所有记录中删除多个 bin？我尝试一次将一个 bin 传递给 udf，并使用 scan 从所有记录中删除该 bin，但正如预期的那样效率很低。我还尝试在 python 中创建一个 bin 列表并将该列表传递给 UDF。以下为引用代码:

假设我有 2000 条记录和 200 个名为“1”、“2”、“3”等的 bin。我想删除从“1”到“99”的 bin。使用的命名空间是 testns，使用的集合是 udfBins。 testUdf.lua是包含udf的lua文件，my_udf是lua函数名。

测试.py

    scan = client.scan("testns", "udfBins")
    bins = [str(i) for i in range(1,366)]
    # for i in range(1,100):
    scan.apply("testUdf", "my_udf", [bins])
    job_id = scan.execute_background()
    while True:
        response = client.job_info(job_id, aerospike.JOB_SCAN)
        if response["status"] != aerospike.JOB_STATUS_INPROGRESS:
            break
    
    print("job done")

testUdf.lua

function my_udf(rec, bins)

    info(bins)
    for bin in python.iter(bins)
    do
        rec[bin] = nil
    end
    aerospike:update(rec)
end

上面的代码不起作用，我无法找出原因和解决手头问题的正确方法。非常感谢任何帮助。

提前致谢

Answer 1

这是一个有点棘手的问题。我们必须将一个数组从 python 传递给 lua 作为 lua 函数的参数。这是我用来使其工作的代码的相关部分:

1 - 像这样将数组作为字符串传递:

bins = '{"1","2"}'
# print(bins)
self.client.scan_apply("test", "users", "testUdf", "my_udf", [bins])

注意:在 scan_apply 中(函数名有一个下划线，args 作为列表传递，这里只有一个 arg - 在 lua 中我们转换为表类型并迭代的字符串 bins。

然后在你的 testUdf.lua 中，做:

function my_udf(rec, bins_list)
    bins_list = load("return "..bins_list)()
    for i,bin in ipairs(bins_list)
    do
        -- debug("bins_list_item: "..bin)
        rec[bin] = nil
    end
    aerospike:update(rec)
end

我在调试级别使用日志记录(你有信息)来检查 lua 代码在做什么。 这对我有用。 我使用 bin“1”、“2”和“3”创建了 3 条记录，然后使用上述扫描 udf 删除了 bin“1”和“2”。

这是运行扫描后一条记录的示例输出:

{'3': 1, '1': 1, '2': 1}  <-- initial bins, 3 records, same bins, same values
{"1","2"}  <--list that I passed as a string for setting these bins to nil
{'3': 1}  <-- final bins

我检查了 AQL，所有 3 条记录的 bin“1”和“2”都被删除了。

aql> select * from test.users
+---+
| 3 |
+---+
| 1 |
| 1 |
| 1 |
+---+
3 rows in set (0.123 secs)

这是进一步阅读的好链接:https://discuss.aerospike.com/t/what-is-the-syntax-to-pass-2d-array-values-to-the-record-udf-using-aql/4378