我的项目涉及从没有 API 的站点抓取大量数据,或者调用 API(如果有)。使用多线程来提高速度和实时工作。哪种编程语言对此更好?我对 Python 很满意。但是,线程是一个问题。于是,想到在node.js中使用JS。那么,我应该选择哪个呢?
最佳答案
只有当您想并行计算多个事物时,线程才是 Python 中的一个问题。如果你只想做很多请求,解释器的限制(一次只有一个线程解释 python)将不是问题。
事实上,要同时发出很多请求,你甚至不必使用很多线程。您可以使用异步请求库,例如 requests.async .
如果您需要对请求的结果进行大量计算,您始终可以使用 multiprocessing 在 Python 中对其进行并行处理。 ,这使您能够绕过我之前谈到的线程限制。
关于javascript - 哪种编程语言可以同时从网络上抓取数据并进行 api 调用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10834721/