我有 3 个驱动程序(Firefox 浏览器),我希望它们在网站列表中做一些事情
。
我有一个 worker 定义为:
def worker(browser, queue):
while True:
id_ = queue.get(True)
obj = ReviewID(id_)
obj.search(browser)
if obj.exists(browser):
print(obj.get_url(browser))
else:
print("Nothing")
因此工作人员将只访问包含 ID 的队列并使用浏览器执行某些操作。
我想要一个工作人员池,这样一旦工作人员使用浏览器在 id_ 定义的网站上完成某项操作,它就会立即开始使用同一浏览器在下一个 id_ 上执行某项操作在队列中找到。我有这个:
pool = Pool(processes=3) # I want to have 3 drivers
manager = Manager()
queue = manager.Queue()
# Define here my workers in the pool
for id_ in ids:
queue.put(id_)
for i in range(3):
queue.put(None)
这里我有一个问题,我不知道如何定义我的 worker ,使他们在池中。我需要为每个司机分配一个 worker ,所有 worker 共享相同的 ID 队列。这可能吗?我该怎么做?
我的另一个想法是创建一个浏览器队列,这样如果一个驱动程序什么都不做,它就会被一个 worker 连同队列中的一个 id_ 一起用来执行一个新的进程。但我对多处理完全陌生,实际上不知道如何写这个。
感谢您的帮助。
最佳答案
您可以尝试在 worker 中实例化浏览器:
def worker(queue):
browser = webdriver.Chrome()
try:
while True:
id_ = queue.get(True)
obj = ReviewID(id_)
obj.search(browser)
if obj.exists(browser):
print(obj.get_url(browser))
else:
print("Nothing")
finally:
brower.quit()
关于python - 多处理和 Selenium Python,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39824273/