apache-spark - 非 Databricks 平台上的 Spark Delta 格式

标签 apache-spark databricks delta-lake

To improve query speed, Delta Lake on Databricks supports the ability to optimize the layout of data stored in cloud storage. Delta Lake on Databricks supports two layout algorithms: bin-packing and Z-Ordering.

如果您在本地(不在云端)运行并在 Spark 中使用 delta 格式(因此不在 Databricks 上),是否可以使用 Z 排序?或者它仅在 Databricks 运行时可用?

我的假设是肯定的,但只是想弄清楚,因为我手头没有 RHEL 集群。

最佳答案

仅 Databricks 运行时上的 Delta Lake 支持 z 排序。

更新 Delta Lake 2.0宣布支持Z-Ordering

关于apache-spark - 非 Databricks 平台上的 Spark Delta 格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68670286/

相关文章:

python - Pyspark:如何读取谷歌存储桶中的 .csv 文件?

scala - 如何在 hadoop 上使用 Spark 启动 Jar 文件

apache-spark - 无法在 Apache Spark 中创建 HIVE 表

python - Azure-列具有无法参与列存储索引的数据类型

azure - 是否可以在 Azure databricks 中使用基于 Parquet 文件名的增量表跟踪器?

scala - 如何将dataframe中的空值填充到uuid?

python - PySpark 无法将 mariaDb 表中的值解码为整数

Azure Databricks Delta 表与 Azure Synapse Lake 数据库表

azure - Azure Databricks 是否在 Azure Data Lake Storage 中使用查询加速?

databricks - 数据湖屋和三角洲湖有什么区别?