azure - 是否可以将 Databricks 笔记本安装到类似于库的集群中?

标签 azure pyspark shared-libraries databricks azure-databricks

我希望能够让笔记本的输出/功能/定义可供同一集群中的其他笔记本使用,而不必总是一遍又一遍地运行原始笔记本...

<小时/>

例如,我想避免:

definitions_file:有多个命令、函数等...

notebook_1

#invoking definitions file
%run ../../0_utilities/definitions_file

notebook_2

#invoking definitions file
%run ../../0_utilities/definitions_file

......

因此,我希望Definitions_file可用于同一集群中运行的所有其他笔记本。

我正在使用 azure 的databricks。

谢谢!

最佳答案

不,不存在隐式导入的“共享笔记本”之类的东西。您可以做的最接近的事情是将代码打包为 Python 库或打包到 Repos 内的 Python 文件中,但您仍然需要在所有笔记本中编写 from my_cool_package import *

关于azure - 是否可以将 Databricks 笔记本安装到类似于库的集群中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/74878420/

相关文章:

pyspark - 计算从列表 pyspark 引用的列的乘积

azure - Cosmos DB SQL API 的架构迁移。说得通?

java - 使用 Oauth2 客户端凭据授予的 Java 应用程序的 Active Directory 身份验证产生 "unauthorized_client"错误

python - 当键的数量与每个键的值的数量相比较小时,PySpark reduceByKey 不断失败

PySpark Schema 应以 DDL 格式指定为字符串文字或 schema_of_json 函数的输出而不是 schemaofjson (`col1` );

java - 在 MATLAB 中从 Java 加载库时出现 UnsatisfiedLinkError

java - Java 库和项目中的命名约定

javascript - 在 mongod 启动时加载 JavaScript 共享库

c# - 在 Windows Azure 上启动存储模拟器时出错

azure - 如何在azure api管理中使用订阅 key (主要/次要)获取用户详细信息?