我想知道使用 Hydra 管理我的配置文件有什么好处, 与直接加载 .yaml 配置文件(使用 import yaml)相比?
最佳答案
TL;博士
如果您正在处理一个有许多可配置参数的项目,那么确实使用 Hydra说得通。
如果没有,那么它弊大于利,因为它是包含在您的项目中的额外要求,需要其他开发人员学习如何使用它,并且实例化配置文件有时是一件令人头疼的事情。对于使用 .py
的小型项目,“纯”.yaml
甚至 .ini
文件通常更有意义。
Hydra主要特点
除了Jasha's Answer 中提到的几点,还有两个我个人经常使用的 Hydra 附加功能。
对象实例化
第一个功能是实例化对象的能力,例如 classes
和 functions
,方法是将对象的导入路径指定为名为 _target_
,以及对象所需参数的值。例如,考虑以下 .yaml
配置文件:
# conf/config.yaml
defaults:
- db:
- base
- sqlite
- /hydra/callbacks:
- helper_callback
- override hydra/help: opt_help
- override hydra/job_logging: custom
- _self_
# Same as using:
# from dateutil.relativedelta import relativedelta, FR
# relative_date = relativedelta(weeks=3, weekday=FR(1))
relative_date:
_target_: dateutil.relativedelta.relativedelta
weeks: 3
weekday:
_target_: dateutil.relativedelta.FR
n: 1
然后你可以使用类似的东西来实例化 relative_date
:
from hydra import compose, initialize
from hydra.utils import instantiate
initialize(config_path='./conf')
cfg = compose(config_name="config")
# Same as: relative_date = relativedelta(weeks=3, weekday=FR(1))
relative_date = instantiate(cfg['relative_date'])
或者:
# foo.py
import hydra
from hydra.utils import instantiate
@hydra.main(config_path="./conf", config_name="config", version_base=hydra.__version__)
def main(cfg):
print(instantiate(cfg['relative_date']))
if __name__ == '__main__':
main()
并执行:
$ python foo.py
relativedelta(days=+21, weekday=FR(+1))
Note: first option works on interactive python environments, like Jupyter, whereas the second approach won't.
检索环境变量
一些项目使用environment variables .这些变量是进程运行的环境(即您的计算机)的一部分。环境变量也可以在项目级别的名为 .env
的文件中找到。 Hydra使您可以使用此类变量,如下所示:
main:
source: file
debug: True
testing: True
user: ${oc.env:USER} # <-- Access an environment variable named "USER"
src_dir: ${oc.env:SRC_DIR}/ # <-- Access an environment variable named "SRC_DIR"
Note: to be fair, this is a feature from OmegaConf, which is the package that Hydra uses under the hood.
实际项目示例
下面的 TreeView 显示了我开发的一个项目示例,该项目具有大量可配置参数,它使用 Hydra :
conf
├── config.yaml
├── optimization.yaml
├── maintenance.yaml
├── sentry_config.yaml
├── alignment_conf
│ ├── extras.yaml
│ └── alignment.yaml
├── constraints
│ ├── air_capacity.yaml
│ ├── delivery.yaml
│ └── handling.yaml
├── db
│ ├── base.yaml
│ ├── hana_dev.yaml
│ ├── hana_prod.yaml
│ └── sqlite.yaml
├── hydra
│ ├── callbacks
│ │ └── helper_callback.yaml
│ ├── help
│ │ └── opt_help.yaml
│ └── job_logging
│ └── custom.yaml
└── solvers
├── cbc_cmd.yaml
├── choco_cmd.yaml
├── cplex.yaml
├── glpk_cmd.yaml
├── gurobi.yaml
├── mosek.yaml
└── scip.yaml
关于python - 与使用常规配置文件相比,Hydra 有哪些优势,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/73977840/