javascript - php - webscraping - 单击 ajax 调用然后抓取页面(可以在 python 中完成)

Question

我在 python 中有一些代码可以抓取页面并找到类名称为“group-head”的所有元素，然后单击它们以生成执行了所有 ajax 调用的页面。这在 python 中有效，但我想知道它是否可以在 curl/php 编码上完成？

 # Get scraping...
tree = parseLxml(driver=driver, url=url) # Go to URL and parse
elem = driver.find_elements_by_class_name('group-head') # Use ChromeDriver to find element to get to the Ajax call
for x in range(0,len(elem)): # Loop through all such elements
    try:  
        time.sleep(0.5)
        elem[x].click() # Click the element
        time.sleep(1.5) # Too fast and errors can occur, so wait...
    except:
        pass
newpage = driver.page_source # Need to get page source again now all visible
newtree = html.fromstring(newpage)
match = newtree.xpath('//td[contains(@class,"score-time")]/a/@href') # Scrape match link
base = 'http://uk.soccerway.com'
for m in match:
    mURL = base+str(m)
    print ('Match URL:',mURL)

Answer 1

您的代码正在使用 ChromeDriver，因此您应该寻找 PHP 绑定(bind)。

看看https://github.com/facebook/php-webdriver ，您应该能够以相同的方式使用它。 代码未经测试，但应如下所示:

$host = 'http://localhost:4444/wd/hub'; // Selenium Host
$driver = ChromeDriver::create($host);
$driver->get($url); // Got to Url and Load Page
$elements = $driver->findElements(WebDriverBy::className('group-head'));
....