amazon-web-services - 如何使Snowflake作为应用程序后端数据库以实现快速搜索

标签 amazon-web-services snowflake-cloud-data-platform snowflake-schema

为了节省存储成本,我们计划将存储审计相关信息的用例之一从 Aurora/Mysql 迁移到 Snowflake。 我们将所有审核信息存储在 Aurora 中,以便在将此 Aurora 合并到 Application 中时提供毫秒级的延迟。

我们确实有大量的审核信息,大小为 12 TB,并且还有文本列,而且还在不断增长。 现在,为了节省成本并考虑到 future 的增长,我们正在探索其他选择,当我们可以节省资金并且性能也可以匹配时。 在进行研究以了解 Snowflake 时,我们正在对此进行 POC,但我观察到主键 ID 的搜索并没有给我们带来与 Aurora Mysql 相同的性能。

因此需要一些专家建议,我们如何使 Snowflake 作为我们的应用程序后端,我可以在其中插入/更新/删除并直接从 Snowflake 数据库显示记录。

最佳答案

2022 年更新

自从我在下面回复以来,情况发生了变化!

  • 检查 Snowflake 搜索优化服务:

The search optimization service can significantly improve the performance of certain types of lookup and analytical queries that use an extensive set of predicates for filtering. https://docs.snowflake.com/en/user-guide/search-optimization-service.html

  • Unistore 和混合表即将登陆 Snowflake:

Unistore is a new workload that delivers a modern approach to working with transactional and analytical data together in a single platform. https://www.snowflake.com/blog/introducing-unistore/


不要这样做。

我从问题中的要求中了解到,您正在寻找一个后端,该后端将:

  • 按 ID 检索行(以毫秒为单位)。
  • 成为不断执行更新和删除的应用的后端。

这些不是 Snowflake 的优势,也不是人们喜爱它的原因。

详细了解 Snowflake 的优势以及您将使用它执行的工作负载,请访问 https://www.snowflake.com/cloud-data-platform/ .

关于amazon-web-services - 如何使Snowflake作为应用程序后端数据库以实现快速搜索,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64327385/

相关文章:

python - 模拟AWS服务进行测试

sql - 从 Snowflake 中的开始日期和结束日期列创建日期数组

python - 基于从 API 端点推断的字段类型自动创建 SnowFlake 表的方法? (Python)

tomcat - 适用于 AWS 云的最佳应用服务器容器

c# - 如何使用 .net 在亚马逊中使用 sales-partner-api 加密和上传数据

amazon-web-services - 如何在配置期间获取 AWS CloudFormation 输出/调试语句?

view - 使用序列创建雪花 View

sql-like - 不喜欢雪花中的任何查询

snowflake-cloud-data-platform - 雪花任务调度

snowflake-cloud-data-platform - 如何在雪花表或 View 中查询遵循相同模式的列?