将数据传输到 Azure SQL 数据库的 Azure 体系结构问题

标签 azure azure-functions azure-sql-database azure-iot-hub azure-stream-analytics

我想将本地数据收集切换到 Azure 环境。

目前我每天最多可以节省 500k(消息)的数据流量。
在将数据存储到数据库之前,我在 C# 应用程序中做了一些数据准备,例如获取/设置关系 id。

现在回答我的问题:
我阅读了大量的azure文档并得出结论,我有两种方法。

<强>1。 IOT 中心 -> Azure 流分析 -> Azure SQL 数据库
我的理解是,如果我使用 Azure Functions,我可以只使用我的 C# 应用程序进行数据准备和插入。

<强>2。 IOT 中心 -> Azure Functions -> Azure SQL 数据库
通过流分析,我可以在插入数据库之前使用引用数据进行数据准备,但不确定该服务的功能。

任何有经验的人都可以给我一些关于如何在 azure 中最好地实现用例的提示吗?
是否有比我上面写的两个更好的解决方案?

最佳答案

你没有提到这50万条消息是一次性发送的还是全天分发的?目前消息发送到您的本地环境的情况如何?

如果它们被发送到 API 端点,那么 IOT/Eventhub 肯定是一个选择。如果您想重用 C# 应用程序,那么我认为 Azure databricks 不是一个选项,应该考虑使用 Functions。

如果您可以放弃 C# 应用程序,则可以将数据写入 SQLDB 并使用 pyspark 与其他数据集进行一些联接,而 databricks 可以非常有效地处理此问题。不过,您应该比较 Functions 和 Azure databricks 之间的成本。如果您使用消费计划,功能会相当便宜。

如果您的最终目的地不要求将数据流式传输到它,我会说跳过流分析。这对于流式实时 PowerBi 仪表板来说非常有用。

关于将数据传输到 Azure SQL 数据库的 Azure 体系结构问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71287873/

相关文章:

c# - Azure 函数 : Queue Trigger is expecting Base-64 messages and doesn't process them correctly

sql-server - 将生产 Azure SQL 数据库中的数据与临时数据库同步,允许在第二秒内进行更改

azure - 保持 azure asp.net core webapi-only 应用程序处于打开状态

asp.net-mvc - 如何在 SAAS 解决方案 (Windows Azure) 中配置自定义域?

php - 无法使用 Windows Azure SDK for PHP 查询 RoleEnvironment

asp.net - Microsoft Azure 上的 Websocket?

azure - 我想在azure搜索中从不同的数据库表中获取数据,可以吗?或任何其他解决方法或最佳搜索

azure - 访问部署在Azure容器实例上的应用程序

azure - github actions 中的 "az functionapp deployment source config-zip"问题排查

c# - Azure Functions 无法与队列触发器一起使用