amazon-web-services - Dynamodb流无需其他中间层即可直接进入Elasticsearch

标签 amazon-web-services elasticsearch logstash amazon-dynamodb amazon-dynamodb-streams

因为使用logstash会产生额外的费用,我们是否可以不使用logstash直接将dynamo db数据流式传输到AWS Elasticsearch 服务?在我在线阅读的所有文章中,都可以使用logstash或lambda来实现。

最佳答案

看来您可以:https://aws.amazon.com/blogs/compute/indexing-amazon-dynamodb-content-with-amazon-elasticsearch-service-using-aws-lambda/

过去,我曾在AWS上使用过DynamoDB,设置了流以将更改从DynamoDB推送到端点,然后使用Logstash从端点读取并将更改写入ES。看来现在您可以在流上使用Lambda来写入ES,而无需Logstash。

也就是说,Logstash方法还将在启动时迁移dynamoDB表中的所有现有数据。上面列出的stream / lambda方法显然不能做到这一点。为了提供该功能,本文提到要设置一个额外的Kinesis Stream,将其用作ES编写器lambda的第二个输入,然后运行一些python代码或类似代码以将来自DB的所有现有数据加载到kinesis流中。

与仅使用Logstash来覆盖这两种情况相比,这似乎很复杂,而且成本可能更高。

关于amazon-web-services - Dynamodb流无需其他中间层即可直接进入Elasticsearch,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48075854/

相关文章:

mysql - 具有大量表的数据库的elasticsearch中的数据摄取

amazon-web-services - 如何将现货实例与亚马逊 Elastic Beanstalk 一起使用?

amazon-web-services - 使用 EC2 在 S3 上备份

Elasticsearch 主节点不断连接和断开连接

elasticsearch - azure evenhub 插件和 Filebeat azure 模块的区别

elasticsearch - 是否可以为 Elasticsearch 维护从 FileBeat 到 LogStash 的索引名称?

amazon-web-services - Docker compose ECS集成: load balancer is of type application,项目需要网络

amazon-web-services - 调用 DeleteBucket 操作时发生错误 (AccessDenied) : Access Denied

elasticsearch - 不合作的ELK Docker实例

elasticsearch - Solr和Elasticsearch中处理日志和PDF的比较以及Banana和Kibana中的数据可视化