directed-acyclic-graphs - dvc.yaml 应该由 dvc run 命令编写或生成吗?

标签 directed-acyclic-graphs data-pipeline dvc

试图了解 dvc , 大多数教程都提到通过运行 dvc run 生成 dvc.yaml命令。
但同时,定义 DAG 的 dvc.yaml 也是 well documented .此外,它是一种 yaml 格式且人类可读/可写的事实表明,它旨在成为用于指定数据管道的 DSL。
有人可以澄清哪种做法更好吗?
编写 dvc.yaml 或让它由 dvc run 生成命令?
还是留给用户选择,没有技术差异?

最佳答案

我建议手动编辑作为主要途径! (我相信这是自 DVC 2.0 以来官方推荐的)dvc stage add对于管道文件的程序化生成仍然非常有帮助,但它不支持 dvc.yaml 的所有功能。 ,例如设置 vars值或定义 foreach stages .

关于directed-acyclic-graphs - dvc.yaml 应该由 dvc run 命令编写或生成吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68004538/

相关文章:

redis - 用于流应用程序的时间序列窗口

azure - ADF - 如何比较具有相同结构的两个 Azure SQL 数据库表(A 和 B)并仅将缺失值从表 A 插入到表 B

apache-spark - DAG中的ExternalRDDScan是什么?

algorithm - 在有向图中查找边不相交路径的最大数量

database - 大型 DAG 的拓扑排序示例

apache-spark - 数据管道 - 从网络驱动器读取数据的最佳方法

git - 错误: bad DVC file name 'my_server\models\*.tar.gz.dvc' is git-ignored

docker - 在 Gitlab CI/CD 中运行 Docker 容器时出现问题

dvc - 尝试运行 DVC pull 时出现这个奇怪的错误

java - 为 DAG 构建全路径算法