python - 使用完整的 xpath 和 Python 进行 Selenium scrape

Question

我正在尝试从这里获取纳斯达克“最先进”股票列表:http://www.nasdaq.com/extended-trading/premarket-mostactive.aspx (单击“最高级”选项卡)

使用 Selenium 循环所有符号并将它们放入 Python 列表的最佳方法是什么？我已经找出第一个符号的 XPATH:

/html/body/div[4]/div[3]/div/div[7]/div[2]/table/tbody/tr[2]/td/div/h3/a 

但我不知道从那里去哪里..我尝试过:

element=driver.find_elements_by_xpath("/html/body/div[4]/div[3]/div/div[7]/div[2]/table/tbody/tr[2]/td/div/h3/a")
print element.text 

..作为开始只是为了看看我是否可以获得一个值，但它显然不起作用。抱歉问了个愚蠢的问题:(

Answer 1

这些包含元素的完整绝对路径的 xpath 非常脆弱。

依赖类名(//div[@class="symbol_links"]):

from selenium.webdriver.firefox import webdriver


driver = webdriver.WebDriver()
driver.get('http://www.nasdaq.com/extended-trading/premarket-mostactive.aspx')

# choose "Most Advanced" tab
advanced_link = driver.find_element_by_id('most-advanced')
advanced_link.click()

# get the symbols
print [symbol.text for symbol in driver.find_elements_by_xpath('//div[@class="symbol_links"]') if symbol.text]

driver.close()

打印:

[u'RNA', u'UBIC', u'GURE', u'DRTX', u'DSLV', u'YNDX', u'QIWI', u'NXPI', u'QGEN', u'ZGNX']

希望有帮助。