我在 scrapy 中编写了一个蜘蛛程序来从网站中提取数据。我有一个具有类似结构的 html 表的链接列表,到目前为止,这些链接的提取工作正常。现在的问题是,其中一些表跨越多个页面,即如果一个数据集超过 30 行,它就会被拆分。大多数表格只有一页,但有些表格更长,最多可达 70 页。通过按 html 表单形式的“下一页”按钮可以到达下一页。我希望蜘蛛程序转到每个表,从第一页提取数据,然后继续到第二页、第三页等,直到不再有“下一步”按钮,然后继续下一个原始网址。
我知道我需要的可能是 form_request 命令,但我对这些东西很陌生,我在网上找到的所有示例的结构都略有不同,因此非常感谢帮助。
这是我提取每个表格第一页的代码。
from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
from example.items import exitem
from scrapy.http import FormRequest
class MySpider(BaseSpider):
name = "example"
with open('linklist.txt') as f:
start_urls = f.readlines()
def parse(self, response):
hxs = HtmlXPathSelector(response)
main = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[1]/td[1]/table")
titles = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[2]/td/table/tr")
items = []
for titles in titles:
item = exitem()
item["pid"] = titles.xpath("td[2]/font/text()").extract()
item["famname"] = titles.xpath("td[3]/font/b/text()").extract()
item["firstname"] = titles.xpath("td[4]/font/text()").extract()
item["sex"] = titles.xpath("td[5]/font/text()").extract()
item["age"] = titles.xpath("td[6]/font/text()").extract()
item["famstat"] = titles.xpath("td[7]/font/text()").extract()
item["res"] = titles.xpath("td[8]/font/text()").extract()
item["nation"] = titles.xpath("td[9]/font/text()").extract()
item["state"] = titles.xpath("td[10]/font/text()").extract()
item["job"] = titles.xpath("td[11]/font/text()").extract()
return(items)
这是网站上的表格:
<form action="http://example.com/listen.php" method="get">
<input type="submit" value="next sheet" name="">
<input type="hidden" value="1234567" name="ArchivIdent">
<input type="hidden" value="31" name="start">
</form>
第二页的“开始”值为 31,第三页为 61,第四页为 91,依此类推。
最佳答案
from selenium import web driver
driver = webdriver.Firefox()
driver.get("your page")
try:
driver.findElement(By.xpath("//*[@type='submit'][@value='next']")).click()
except:
pass
continue with your program
一旦按钮没有找到,就会try出来。然后继续你的程序
希望这对您有所帮助。
关于python - 单击 html 表单按钮到 scrapy/python 中的下一页,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35157553/