我们已将 MSK (kafka) 事件源配置为 Lambda 函数的触发器。尽管偏移滞后不断增加，但 lambda 并发性几乎始终限制在 4-5，如下图所示。 MSK事件源使用的配置是:
Batch Size: 50
Batch window: 30 seconds
Number of partitions in the Kafka topic: 10
我确保负载均匀分布在所有分区上。我这里缺少什么导致并发问题吗？任何解决方案表示赞赏。提前致谢。
最佳答案
我认为您遇到了我们几个月前发现的相同限制，此链接引导我们以正确的方式(在我们的案例中也称为解决方法):
AWS MSK lambda concurrent consumers
老实说，分区没有充分利用其所有功能是有道理的，因为从 msk EC2 设置到 lambda 运行时的跳转并不是一件小事。也许您可以尝试其他连接器。
https://docs.confluent.io/kafka-connectors/aws-lambda/current/overview.html#multiple-tasks
通过 Kinesis 桥接您不会遇到这些特定问题也是有道理的，因为它都是 Amazon 原生的东西。
关于amazon-web-services - Lambda 并发数未按预期增加，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/75040212/