我定义了一些函数并在其他笔记本中调用它，我想创建一个笔记本来对 ADF 中的所有这些函数进行单元测试，并且还需要进行单元测试，例如源文件和数据帧之间的计数匹配。
如何实现这一目标？
最佳答案
您可以使用 Databricks Connect 对 Databricks Notebooks 进行单元测试;一种在 Databricks 集群上远程执行代码的方法。
首先克隆存储库 that goes along with this blog post here
现在创建一个新的虚拟环境并运行:
pip install -r requests.txt
然后您必须设置 Databricks Connect。您可以按照上述共享文档中的规定运行 databricks-connect configure 来完成此操作。
您可以通过运行以下命令来测试 Databricks Connect 是否正常工作:
databricks-connect 测试
来源:https://benalexkeen.com/unit-testing-with-databricks-part-1/
关于unit-testing - 对 databricks 笔记本上定义的函数进行单元测试以及对 pyspark DF 进行单元测试，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/73018323/