python - 在azure ml studio环境中安装本地python库

Question

我正在尝试运行我在 azure 中编写的机器学习训练脚本，方法是:

env = Environment.from_conda_specification("experiment_env", "my_environment.yml")
script_config = ScriptRunConfig(source_directory=experiment_folder,
                                script='path_to_file/classifier_train.py',
                                arguments=arguments,
                                environment=env,
                                docker_runtime_config=DockerConfiguration(use_docker=True)

我的问题是，为了运行classifier_train.py的代码，我需要调用

pip install -e .

因为我需要来 self 编写的本地包的代码(该包的 setup.py 位于实验文件夹中)。

谁能告诉我如何在构建环境时在 azure 安装了所有其他软件包之后以及运行 classifier_train.py 脚本之前运行 pip install -e . ？

Answer 1

要在 azure ML 环境上安装本地库，我们需要在本地计算机上创建数据科学 VM，并将其与工作区订阅详细信息连接起来。

创建 ML studio 工作区并下载 JSON 文件，其中包含需要连接到虚拟机的工作区的详细信息。

1. 在本地机器上创建python虚拟环境
2. virtualenv 或 conda 都可以
3. 激活虚拟环境
4. 安装 Azure 机器学习 Python SDK
5. 使用本地计算机配置 Azure ML Studio

打开已安装并配置的 Jupyter Notebook。创建虚拟环境。

conda install notebook ipykernel – 启用所有 ipykernal 功能

ipython kernel install --user --name <myenv> --display-name "Python (myenv)"– 创建内核

启动 jupyter 笔记本服务器

现在我们需要按照 MS Docs 中的过程获取 ARM 模板。

使用以下代码块创建 Windows DSVM

az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password

使用以下代码块创建 Ubuntu DSVM

az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password

创建conda环境:

conda create -n py310 python=310

激活环境并在本地安装在azure ml平台中直接受影响的库

conda activate py310
pip install azure-ai-ml