azure - 我们如何在 Azure 中运行标准 Python 脚本并将文件保存到数据湖？

Question

我有一个 Python 脚本，可以在我的笔记本电脑上完美运行。我正在尝试将其移至 Azure 并在那里运行。理想情况下，我想做一些基本的屏幕抓取、一些基本的转换，然后将数据文件保存在数据湖或存储资源管理器中(湖可能更好)。因此，我设置了“创建自动化帐户”和“运行方式帐户”。现在，我尝试在 Azure“Runbook”中运行代码(单击“开始”按钮)，但收到此错误消息。

Failed
Traceback (most recent call last):  File "C:\Temp\3fgngmon.o45\7e326422-ff39-4a2c-93f9-4afafd46205c", line 2, in <module>    from bs4 import BeautifulSoupModuleNotFoundError: No module named 'bs4'

这是我的示例代码。

import requests
from bs4 import BeautifulSoup
from urllib.parse import unquote
import csv
import io

all_links = [
    "/vsoch/hospital-chargemaster/tree/0.0.2/data/ochsner-clinic-foundation",
    "/vsoch/hospital-chargemaster/tree/0.0.2/data/ohio-state-university-hospital",
    "/vsoch/hospital-chargemaster/tree/0.0.2/data/orlando-health",
    "/vsoch/hospital-chargemaster/tree/0.0.2/data/st.-joseph%E2%80%99s-hospital-(tampa)",
]

for item in all_links:
    item = item.replace('tree/', '')
    
    try:
        file_name = unquote(item.split('/')[-1])
        DOWNLOAD_URL = f'https://raw.githubusercontent.com{item}/data-latest.tsv'
        r_tsv = requests.get(DOWNLOAD_URL)
        
        if r_tsv.status_code == 404:
            print(f"Not found - {DOWNLOAD_URL}")
        else:
            print(f"Downloaded - {DOWNLOAD_URL}")
            data = list(csv.reader(io.StringIO(r_tsv.text), delimiter='\t'))
            DOWNLOAD_PATH = fr'C:\Users\ryans\Desktop\hospital_data\{file_name}.csv'
            
            with open(DOWNLOAD_PATH, 'w', newline='') as f_output:
                csv_output = csv.writer(f_output)
                csv_output.writerows(data)
    except Exception as e: 
        print(e)

不知何故，我想我需要进行 pip 安装。不知道该怎么做。另外，我需要更改数据湖(或存储资源管理器)的保存路径。也不知道该怎么做。我怎样才能启动并运行它？

Answer 1

您需要将beautiful soup包导入到您的自动化帐户中。

在您的自动化帐户中，选择共享资源下的Python 包。单击+ 添加 Python 包。