python - 语言 worker 如何使用Python在Azure函数中工作？

Question

我正在使用Azure Functions进行ETL项目，在该项目中，我从blob存储中提取数据，以Python和pandas转换数据，并使用pandas to_sql()加载数据。我正在尝试通过使用异步和语言 worker 来提高此过程的效率。
我有点困惑，因为我的印象是asyncio使用一个线程工作，但是Azure Functions文档说，如果您更改配置，则可以使用多个语言 worker ，即使不使用async关键字的方法也可以运行在线程池中。
这是否意味着如果我不使用async关键字，我的方法将使用语言 worker 同时运行？我必须使用asyncio来利用语言 worker 吗？
此外，该文档还指出，Azure Functions最多可以扩展到200个实例。如果我最多只能允许10名语言 worker ，那么如何扩展到那么多实例？
编辑:谢谢阿纳托利。请澄清一下，如果我有一个带有以下代码的计时器触发器:

import azure.functions as func
from . import client_one_etl
from . import client_two_etl

def main(mytimer: func.TimerRequest) -> None:
    client_one_etl.main()
    client_two_etl.main()

如果我增加了语言 worker 的数量，这是否意味着即使不使用client_one_etl.main()，client_two_etl.main()和asyncio也会自动在单独的线程中运行？如果client_two_etl.main()在执行之前需要client_one_etl.main()完成，我将需要使用async await来防止它们同时运行？
对于单独的实例，如果client_one_etl.main()和client_two_etl.main()不相互依赖，这是否意味着我可以在一个Azure Function应用中将它们作为在自己的VM中运行的单独的.py脚本来执行？是否可以运行多个计时器触发器(为一个Azure函数在各自的VM中分别调用多个__init__.py脚本)？如果我增加functionTimeout文件中的host.json，那么所有脚本都需要在10分钟内完成？

Answer 1

FUNCTIONS_WORKER_PROCESS_COUNT限制每个“函数”主机实例的最大工作进程数。如果将其设置为10，则每个主机实例将能够同时运行多达10个Python函数。每个辅助进程仍将在单个线程上执行Python代码，但是现在您最多可以同时运行10个。您无需使用asyncio即可实现。 (话虽如此，使用asyncio来提高可伸缩性和资源利用率是有正当理由的，但是您不必这样做就可以利用多个Python工作进程。)

200个限制适用于每个Function应用程序的Function主机实例的数量。您可以将这些实例视为独立的VM。 FUNCTIONS_WORKER_PROCESS_COUNT个限制分别应用于每个限制，这使并发线程总数达到2000。

更新(回答其他问题):

一旦在某个工作程序上开始函数调用，它将在该工作程序上运行，直到完成。在此调用中，代码执行不会分配给其他工作进程或Function主机实例，也不会以任何其他方式自动并行化。在您的示例中，client_two_etl.main()将在client_one_etl.main()退出后启动，并且它将在同一工作进程上启动，因此，无论配置的限制如何，您都不会观察到任何并发性(除非您对client_*_etl.main()做一些特殊的操作)。

当大约在同一时间发生多个调用时，这些调用可能会自动分配给多个工作程序，这就是上面提到的限制适用的地方。从开始到结束，每次调用仍将只对一个工作程序运行。在您的示例中，如果设法在同一时间两次调用此函数，则每次调用都可以得到自己的工作程序，并且它们可以并发运行，但是每个调用将依次执行client_one_etl.main()和client_two_etl.main()。

另请注意，由于您在单个函数上使用计时器触发器，因此您根本不会遇到任何并发性:根据设计，计时器触发器在之前的调用完成之前不会开始新的调用。如果您希望并发，请使用其他触发器类型(例如，可以在计时器上放置队列消息，然后由队列触发的功能可以自动扩展为多个工作程序)，或者使用具有多个功能的多个计时器触发器，就像你建议的那样。

如果您真正想要的是同时运行独立的client_one_etl.main()和client_two_etl.main()，那么最自然的事情就是从不同的函数中调用它们，每个函数在相同或不同的Function应用程序中使用自己的触发器在单独的__init__.py中实现。

每次函数调用都会应用functionTimeout中的host.json。因此，如果您的应用程序中具有多个功能，则每次调用应在指定的限制内完成。这并不意味着所有这些都应在此限制内完成(如果我正确理解了您的问题)。

更新2 (回答更多问题):

@JohnT请注意，我并不是在谈论Function应用程序或___init___.py脚本的数量。一个函数(由___init___.py描述)是一个程序，它定义了需要完成的工作。您可以为每个应用创建10种以上的功能，但是不要这样做以增加并发性-这无济于事。而是添加函数以分离逻辑独立和一致的程序。函数调用是一个主动执行程序的过程，这就是我要讨论的限制所适用的地方。您需要非常清楚函数与函数调用之间的区别。

现在，为了调用函数，您需要专用于此调用的工作进程，直到此调用完成。接下来，为了运行辅助进程，您需要一台将承载此进程的计算机。这就是Functions主机实例(不是对Functions主机实例的非常准确的定义，但足以满足本讨论的目的)。在使用“消费”计划时，您的应用程序可以扩展到200个Function主机实例，并且默认情况下每个实例都将启动一个工作进程(因为FUNCTIONS_WORKER_PROCESS_COUNT = 1)，因此您最多可以同时运行200个函数调用。增加FUNCTIONS_WORKER_PROCESS_COUNT将允许每个Function主机实例创建一个以上的工作进程，因此每个Function主机实例最多可以处理FUNCTIONS_WORKER_PROCESS_COUNT个函数调用，使潜在总数达到2000。

请注意，尽管“可以扩展”并不一定意味着“将扩展”。有关更多详细信息，请参见Azure Functions scale and hosting和Azure Functions limits。