我正在尝试使用 R 代码从以下网站抓取前 4 页用于教育目的:
{r}
library(rvest)
library(purrr)
library(tidyverse)
url_base <- "https://www.boliga.dk/salg/resultater?searchTab=1&page=%d&sort=date-d&zipcodeFrom=1000&zipcodeTo=2499&street="
map_df(1:4,function(i){
page <- read_html(sprintf(url_base,i))
data.frame(Address = html_text(html_nodes(page,".font-weight-bolder.text-left")))
}) -> Address_map
View(Address_map)
此代码的唯一问题是,它实际上并未向我显示前 4 页,而是为我提供了四次第一页。
我希望您能帮助解决这个小问题。
最佳答案
该页面使用 javascript 调用 API,您可以访问 JSON 格式的数据,就像第一页一样: jsonlite::fromJSON("https://api.boliga.dk/api/v2/sold/search/results?searchTab=1&page=1&sort=date-d&zipcodeFrom=1000&zipcodeTo=2499&street=")
要将所有 4 个页面放在一起,请尝试以下操作:
library(dplyr)
library(jsonlite)
url_base <- "https://api.boliga.dk/api/v2/sold/search/results?searchTab=1&page=%d&sort=date-d&zipcodeFrom=1000&zipcodeTo=2499&street="
Address_map <-lapply(1:4,function(i){
print(i)
# pause to prevent attacking the server
Sys.sleep(2)
#retrieve the results data frame from the returned data structure
fromJSON(sprintf(url_base, i))$result
})
#bind everything together
answer <- bind_rows(Address_map)
关于r - 网页抓取多页面问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62028696/