apache-spark-sql - Synapse Lake 数据库 View 在 SQL 池中不可用?

标签 apache-spark-sql azure-synapse delta-lake

目前正在探索在 Synapse 中使用 Spark 笔记本进行数据转换而不是数据流,但 Lake 数据库功能有点令人困惑。

我在 Synapse Workspace 中使用笔记本创建了一个 Lake 数据库、一个外部表(目录?)和一个 View 。该 View 在 Synapse UI 中可见,我可以查询它。 但是,当使用 Management 或 Data Studio 通过 SQL 池连接时,该 View 不可用。仅共享表元数据,还是我遗漏了某些内容?无法找到与此相关的文档。

最佳答案

但是,例如,当使用 Management 或 Data Studio 通过 SQL 池连接时,该 View 不可用。这是故意的,还是我错过了什么?

  • 无服务器 SQL 池和 Spark 池共享一个目录,但专用 SQL 池有自己的目录
  • Spark View 属于 session (临时 View )或应用程序(全局 View )范围,不属于目录。这就是您看不到 View 的原因。

关于apache-spark-sql - Synapse Lake 数据库 View 在 SQL 池中不可用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/75180916/

相关文章:

scala - 如何使用 Scala 创建具有随机内容的大型 Spark 数据框?

python - PySpark 解压文件 : Which is a good approach for unzipping files and storing the csv files into a Delta Table?

pyspark - 如何在 Zeppelin notebook 和 pyspark 中导入 Delta Lake 模块?

python - 多次连续加入pyspark

json - 如何使用包含 "$"的列名进行查询?

azure - 我想提取在 MS Azure Synapse 中存储为 varchar(max) 的匹配标记的 XML 值

azure-databricks - 为什么 Azure Databricks 需要将数据存储在 Azure 中的临时存储中

sql-server - Azure 数据仓库中的多行到单行

apache-spark - 如何向 Delta Lake 表添加新列?

python - 如果将 DataFrame 保存到磁盘,如果您在脚本中使用该 DataFrame,Spark 是否会加载该数据?