node.js - 查询/扫描 DynamoDB 的结果不一致 - NodeJS

Question

我有一个如下所示的 DynamoDB 表:

(像这样的条目大约有 1500000 个，具有不同的时间戳)

我有 2 个 GSI:

我正在尝试检索表中某一天的所有行。

这就是我的代码(NodeJS)的样子:

var AWS = require("aws-sdk");

AWS.config.update({accessKeyId: "", secretAccessKey: ""});
AWS.config.update({region: 'us-east-1'});

var docClient = new AWS.DynamoDB.DocumentClient();

var params = {
    TableName: "QfGamingTransactionsProd",
    IndexName: 'Result-RedeemedAt-index',
    KeyConditionExpression: "#rs = :result and begins_with (#rat, :Rat)",
    ExpressionAttributeNames: {
        "#rs": "Result",
        "#rat": "RedeemedAt"
    },
    ExpressionAttributeValues: {
        ":result": "SUCCESS",
        ":Rat": "2016-10-20"
    }
};

docClient.query(params, function (err, data) {
    if (err) {
        console.error("Unable to query. Error:", JSON.stringify(err, null, 2));
    } else {
        console.log("\nQuery succeeded. \n");
        console.log("- Total", data.Count);
    }
});

它似乎有效，但我得到的结果比预期少。相同的代码在较小的表上运行良好。

与“扫描”类似的结果。

我错过了什么？

Answer 1

根据每条记录的大小，检索的记录数量将会发生变化，因为 DynamoDB 对查询有大小限制(1MB)。

在 DynamoDB 中，查询将仅返回 1MB 的数据。 但我们可以对结果进行分页。它可能会解决你的问题。 如果未完全检索到满足该查询的数据，则查询返回的数据将包含“LastEvaluatedKey”。所以我们必须将“LastEvaluatedKey”设置为“ExclusiveStartKey”。然后查询将检索剩余的数据。通过递归执行该方法，我们将得到完整的数据。

var data = [];
async.until(function () {
  return scanComplete;
},
  function (callback) {
    docClient.query(params, function (err, result) {
      if (err) {
        console.log(err);
      } else {
        data.push(result.Items);
        if (typeof (result.LastEvaluatedKey) === 'undefined') {
          scanComplete = true;
          //fully retrieved
        } else {
          params.ExclusiveStartKey = result.LastEvaluatedKey;
        }
        if (!scanComplete) {
        }
      }
      callback(err);
    });
  },
  // this runs when the loop is complete or returns an error
  function (err) {
    if (err) {
      console.log('error in processing scan ');
      console.log(err);
      reject(err);
    } else {
      resolve(data);
    }
  });