python - Azure Synapse 开发(代码编写)最佳实践

标签 python azure azure-synapse

我们的团队开始使用 Azure Synapse 进行数据分析,并且我们已经看到了集成的笔记本和 SQL。然而,这些都是非常小的,可能是一个很好的起点,但很快我们就会希望将工作转移到 VSCode 或 PyCharm 等 IDE...

有关如何或哪些 IDE 与我的 Azure Synapse 代码集成的最佳实践?我可以在其中任何一个地方从本地 IDE 向 synapse 帐户运行 sql 或笔记本吗?

在这个主题上,是否有关于在 Synapse 中开发的最佳实践,关于如何在环境中触发我的工作之前编写和测试我的工作?

最佳答案

首先在 Visual Studio Code 中安装 Spark 和 Hive 工具。然后我们可以逐步了解如何将作业提交到 Spark 和 Hive 工具。

Spark和Hive工具可以安装在Visual Studio支持的平台上。

完成将笔记本从本地 IDE 移动到 synapse 帐户所涉及的步骤需要以下项目。

无服务器 Apache Spark 池

Visual Studio 代码

适用于 Visual Studio Code 的 Pyspark 交互式环境

处理 sql/notebooks 或将其从本地 IDE 移动到 synapse 帐户所涉及的步骤。

因此,满足上述先决条件后,您可以按照以下步骤安装 Spark & Hive Tools for Visual Studio Code:

  1. 打开 Visual Studio Code。
  2. 从菜单栏中导航至“查看”>“扩展”。
  3. 在搜索框中输入 Spark & Hive。
  4. 从搜索结果中选择 Spark & Hive Tools,然后选择“安装”。 5.必要时选择“重新加载”。

请找到以下链接以了解更多详细信息。

https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/vscode-tool-synapse

关于python - Azure Synapse 开发(代码编写)最佳实践,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70381958/

相关文章:

python - 如何从内存中删除多个 Pandas (python)数据帧以节省 RAM?

python - 如何将过滤后的分组聚合的结果分配为原始 Pandas DataFrame 中的新列

Azure AD B2C 自定义属性显示为空

asp.net - 连接字符串的正确位置

security - 创建外部表的 Azure SQL 数据仓库权限

azure - 如何使用 pyodbc 将 pandas 数据帧的多行插入到 Azure Synapse SQL DW 中?

python - 如何使用正则表达式按顺序提取文本?

python - sqlalchemy、mixins、外键和 declared_attr

azure - ASP.NET Core 2.1 应用程序启动失败时在 Application Insights 中创建错误

azure - Synapse Spark 写入不同/安装点[或]容器