我们的团队开始使用 Azure Synapse 进行数据分析,并且我们已经看到了集成的笔记本和 SQL。然而,这些都是非常小的,可能是一个很好的起点,但很快我们就会希望将工作转移到 VSCode 或 PyCharm 等 IDE...
有关如何或哪些 IDE 与我的 Azure Synapse 代码集成的最佳实践?我可以在其中任何一个地方从本地 IDE 向 synapse 帐户运行 sql 或笔记本吗?
在这个主题上,是否有关于在 Synapse 中开发的最佳实践,关于如何在环境中触发我的工作之前编写和测试我的工作?
最佳答案
首先在 Visual Studio Code 中安装 Spark 和 Hive 工具。然后我们可以逐步了解如何将作业提交到 Spark 和 Hive 工具。
Spark和Hive工具可以安装在Visual Studio支持的平台上。
完成将笔记本从本地 IDE 移动到 synapse 帐户所涉及的步骤需要以下项目。
无服务器 Apache Spark 池
Visual Studio 代码
适用于 Visual Studio Code 的 Pyspark 交互式环境
处理 sql/notebooks 或将其从本地 IDE 移动到 synapse 帐户所涉及的步骤。
因此,满足上述先决条件后,您可以按照以下步骤安装 Spark & Hive Tools for Visual Studio Code:
- 打开 Visual Studio Code。
- 从菜单栏中导航至“查看”>“扩展”。
- 在搜索框中输入 Spark & Hive。
- 从搜索结果中选择 Spark & Hive Tools,然后选择“安装”。 5.必要时选择“重新加载”。
请找到以下链接以了解更多详细信息。
https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/vscode-tool-synapse
关于python - Azure Synapse 开发(代码编写)最佳实践,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70381958/