Databricks 删除增量表?

标签 databricks delta-lake

如何在 Databricks 中删除 Delta 表?我在文档中找不到任何信息...也许唯一的解决方案是使用魔术命令或 dbutils 删除文件夹“delta”中的文件:

%fs rm -r delta/mytable?

编辑:

为了澄清起见,我在这里放了一个非常基本的例子。

例子:
#create dataframe...
from pyspark.sql.types import *

cSchema = StructType([StructField("items", StringType())\
                      ,StructField("number", IntegerType())])

test_list = [['furniture', 1], ['games', 3]]

df = spark.createDataFrame(test_list,schema=cSchema)

并将其保存在 Delta 表中
df.write.format("delta").mode("overwrite").save("/delta/test_table")

然后,如果我尝试删除它.. drop table 或类似操作是不可能的
%SQL
DROP TABLE 'delta.test_table'


没有其他选项,如删除表'delta/test_table'等,等等......

最佳答案

如果您想完全删除该表,则可以使用 dbutils 命令:

dbutils.fs.rm('/delta/test_table',recurse=True)

根据我的理解,您保存的增量表位于 blob 存储中。删除连接的数据库表会将其从数据库中删除,但不会从存储中删除。

关于Databricks 删除增量表?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58990742/

相关文章:

apache-spark - Parquet 中的嵌套数据类型

apache-spark - 单一位置的 Spark 模式管理

azure - Eventhub Stream 未捕获架构不匹配

scala - 无法使用Spark获取Delta Lake表的元数据信息

databricks - 将 Parquet 表迁移到 Delta 的最佳实践是什么?

apache-spark - 写入文件时出现Databricks Checksum错误

scala - 使用databricks dbutils-api 的问题

apache-spark-sql - 如何将 Databricks 中的 VALUES 插入到表中

sql - 为什么 Azure Databricks 中的时间格式发生变化

apache-spark - 如何一次查询 delta lake 表中的所有版本以跟踪对特定 ID 所做的更改