amazon-web-services - 在可扩展的网站上显示实时数据?

标签 amazon-web-services websocket aws-lambda scalability azure-functions

我正在启动一个项目,在此我想创建一个网站,该网站将显示实时航班信息和状态。我们都在机场看到了这一点。此处给出一个示例-http://www.computronics.biz/productimages/prodairport4.jpg。如您所见,此信息不断变化。该网站将与后端api对话,而该后端api将与数据库对话。现在重要的部分是数据库中的航班信息将由航空公司自己更新。可能有几家航空公司,它们将分别更新其数据。我已经绘制了一个图并上传到这里-https://imgur.com/a/ssw1S

现在,这些航空公司显然将具有一个接口(与某些后端API进行通讯的网站),通过它们可以更新数据库。

现在是我尝试解决它的尝试。我们需要某种触发条件,如果任何航空公司在当前时间-1小时到当前+ 4小时之间更新数据库中的航班详细信息(网站将仅显示几个小时的航班),我们需要调用网络api和然后将更新实时发送到网站。用户完全不能刷新页面。同时,网站需要很好地扩展,即如果网站上有100万用户,并且数据库在正确的时间范围内进行了更新,则所有100万用户的网站都应在相当长的时间内得到更新。

我做了一些研究,看来我们需要采用基于事件的方法。例如-我们需要创建一个函数(AWS lambda或Azure函数),只要数据库在正确的时间范围内有更新(例如,Dynamo DB),就应调用该函数。然后,此函数应调用API,该API随后应通过Web套接字技术更新网站。

我不是在寻找任何代码,而只是一些关于如何以可伸缩方式解决此问题的替代建议。还有我们如何测试可扩展性?

最佳答案

不要使用无服务器功能(Lambda / Azure功能)

尽管我非常热衷于无服务器功能,并且目前正在Lambda中运行完整的Web应用程序,但我认为您的用例不需要它,并且从经济上讲也是没有道理的。正如您在评论中回答的那样,每个航空公司都不会直接写入数据库,而是会推送到API,这意味着在航班更改时会明确告知您。航空公司向您发送新数据后,您可以简单地通过websocket将其传播到所有浏览器端点。这使设计非常简单。无需人为地创建数据库事件,然后再触发一个函数,该函数随后会告诉您航班已更新。就像卸下门铃,然后用触发门铃的运动检测器代替它一样:)

成本

钱总是值得拥有的。 Lambda不仅仅是技术突破,更是经济突破。您必须知道何时才具有成本效益。您需要为每个请求付费,因此,如果您处理一个月处理10,000次操作或一天仅执行1000次操作的过程,那么lambda便宜又实用。您还需要为函数执行的时间长度和执行过程中消耗的内存付费。通常,使用lambda函数是有意义的,因为在大多数情况下,专用服务器将处于空闲状态。因此,AWS为您提供了一个按需容器,而不是整个EC2实例。在某些方面,高请求率和不断运行的流程使lambda比EC2更加昂贵。本文讨论了在一般情况下使用lambda最便宜的地方-> https://www.trek10.com/blog/lambda-cost/同样适用于Azure函数和googles等效项。它们都是按需提供的容器。

如果您要处理航班信息,我想您会每分钟更新数千个航班,因此您的lambda函数将像运行EC2实例一样不断触发。您最终将付出比EC2高得多的费用。如果您的服务需要保持24/7全天候运行并以高活动量运行24/7,这无疑是一个或多个专用服务器的有效用例。

拟议的解决方案

这些是我将在下面使用的组件:


某种类型的消息队列(也许是带有SNS的RabbitMQ或AWS SQS)
Web套接字后端(选择取决于编程语言)
航空输入API(REST,GraphQL或AWS Kinesis Data Firehose)


enter image description here

航空公司将其数据发布到后端api。更新存储在消息队列中,并且实际通过Websockets将结果显示给用户的Web应用程序从队列中读取。

可扩展性

为了实现可伸缩性,您可以在自动伸缩组中的多个EC2实例(均从同一个排队服务读取)上运行websocket应用程序,因此,在额外负载下,将自动创建更多实例,因此名称为“自动伸缩”。这些实例可以放在弹性负载均衡器后面。有关如何执行此操作及其旗舰设计模式的许多AWS文档。如果您使用AWS SQS,则不必自己管理可扩展性详细信息,而aws可以解决。唯一可扩展的真正组件是您的websocket应用程序和航班数据输入端点。您也可以在自动缩放组中运行flight api,但是AWS确实提供了用于处理高流量数据的其他工具。我在下面详细说明。

测试可伸缩性

模拟航空公司通过成千上万的虚假更新来激怒您的服务是相当容易的,另一方面,您可以轻松地运行多个硒测试线程,以模拟浏览器的点击并验证UI仍可正常运行。

其他工具

如果最终它是大量数据,而不是为航班更新服务使用常规的REST API,那么您可以考虑AWS提供的专门用于处理大量实时更新的服务(Kinessis Data Firehose)https://aws.amazon.com/kinesis/data-firehose/从未使用过。

关于amazon-web-services - 在可扩展的网站上显示实时数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48961243/

相关文章:

amazon-web-services - 我们可以使用 sqoop 将数据从 Hadoop (Hive) 导出到 Amazon Redshift

亚马逊 Linux 上的 PostgreSQL

websocket - Cloud Foundry 是否支持网络套接字?

python - 如何查询 DynamoDB 并获取存在 "col3"而不是 0/null 的所有行 (boto3)

amazon-web-services - 在 S3 存储桶上执行 getObject 操作时如何触发 Lambda 函数?

node.js - AWS弹性beantalk UnhandledPromiseRejectionWarning : Cannot find ffprobe

javascript - jquery 引用出错并同时获取两个版本的 jquery

c++ - BeagleBone -> HTML -> C++ 通信

amazon-s3 - 如何删除现有的 S3 事件通知?

python - 如何在 AWS Lambda 中最好地使用 Python 3 的 mimetypes 模块?