这是我的网站：
url<-https://projects.fivethirtyeight.com/2017-nba-predictions/
正如您在此问题上看到的：Web scraping in R?
您可以选择不同的日期，然后表格会更改。
但是我的问题有所不同：如何提取不同日期的表？
我只能提取与“今天”日期相关的表。
我知道每次更改日期时都需要使用id
id="standings-table-wrapper"。但是我该如何处理呢？
这是我设法提取有关“今天”日期的表的方式：
library(rvest)
library(magrittr)
page <- read_html('https://projects.fivethirtyeight.com/2017-nba-predictions/')
df <- setNames(data.frame(cbind(
html_text(html_nodes(page, 'td.original')),
html_text(html_nodes(page, 'td.carmelo')),
html_text(html_nodes(page, '.change')),
html_text(html_nodes(page, '.team a'))
)),c('elo','carmelo','1wkchange','team'))
print(df)
有什么帮助吗？
最佳答案
tl; dr;
该页面依赖于浏览器中运行的javascript来在选择其他日期时处理表格更新。用rvest发出请求时，不会发生此过程。
我将对正在发生的事情和可能的解决方案给出语言上不可知的描述。然后，我将展示该解决方案在Python中的实现，并在我阅读（并希望了解）有关如何在R中进行数据框操作以管理1周变更计算后，在R中添加一个解决方案。
一些观察：
观察：如果禁用浏览器中的javascript并重新加载页面，您将看到该表不再更新。
结论：为了获取不同日期的数据，页面上正在运行javascript（当您使用rvest发出请求时，javascript无法运行）。
观察：如果通过F12开发人员工具监视Web流量，同时选择不同的日期，则由于选择了日期，因此页面不会产生其他流量。
结论：页面加载时将显示更新表所需的所有数据，并且存在驱动它的javascript。
数据来源：
基于这两个观察，很快就可以快速搜索该页面的源文档，从而发现javascript源，并且整个表都是动态构建的。
此缩小（压缩）的js文件的源链接为：https://projects.fivethirtyeight.com/2017-nba-predictions/js/bundle.js?v=c1d7d294b039ddcc92b494602a5e337b
表结构和人口：
进一步查看该文件，我们可以看到有关动态构建和填充表的说明：
数据填充由一系列功能处理，这些功能可从文件中的javascript对象中检索信息，例如
和辅助函数，例如，将elo和car-melo输出四舍五入：
了解数据的存储方式：
我们需要的数据都在功能15内；在数组数组中：
因此，一系列预测都包含一组团队信息。
如果我们放大一个日期（即外部预测数组中的单个项目），则会看到：
如果您在右侧查看，则可以看到该特定日期与不同团队相关联的每个区块。
检索项目并用感兴趣的列重建表：
可悲的是，如果一个正则表达式不在数组中，则此处使用的javascript符号无法使其易于使用json库进行解析。至少在Python中，我们有hjson可以处理未加引号的键（变量名），但在这种情况下尝试解析信息仍会结束EOF错误（尽管我可能需要更改正则表达式提前终止-再次沉思）。但是我们可以做的是以下几点：
请求该文件并将其内容用作数据源
抓取与功能15关联的字符串
使用正则表达式按日期生成块（即按javascript var forecasts存放的日期分组的项的数组）：
循环这些块并提取date, elo, car-melo and team的匹配项列表（再次通过正则表达式）。然后可以将这些列表合并到该日期的数据框中。 date字段必须重复其他列之一的长度（例如elo），因为它每个块仅出现一次。
添加额外的列（或直接在elo和car-melo列上执行）以获取四舍五入的elo和car-melo图（您可以在图像中进一步复制原始js实现）。
（可选）在列中添加，以便您具有团队的缩写名称和长名称。在我的Python实现中，为此使用了辅助函数get_team_dict。
然后，您需要生成1周的更改值，这意味着获取最终数据帧并在GroupBy上执行TEAM，在Sort By上执行Date desc。
对当前行和下一行之间的组执行差异计算，并从结果生成输出列。
在给定的Carmelo desc期间内，可能对date上的分组对象进行排序（如页面所示）。
做一些结果，例如写入CSV。
Py实现：
import requests, re
import pandas as pd
def get_data(n, response_text):
# n is function number within js e.g. 15: [function(s, _, n){}
# left slightly abstract so can examine various functions in particular js block
pattern = re.compile(f',{n}:(\[.+),{n+1}', re.DOTALL)
func_string = pattern.findall(response_text)[0]
return func_string
def get_team_dict(response_text):
p_teams = re.compile(r'abbrToFull:function\(s\){return{(.*?)}')
team_info = p_teams.findall(response_text)[0].replace('"','')
team_dict = dict(team.split(':') for team in team_info.split(','))
return team_dict
def get_column(block, pattern, length = 0): #p_block_elos, p_block_carmelos, p_block_teams, p_block_date
values = pattern.findall(block)
if length: values = values * length
return values
def get_df_from_processed_blocks(info_blocks, team_dict):
final = pd.DataFrame()
p_block_dates = re.compile(r'last_updated:"(.*?)T')
p_block_teams = re.compile(r'name:"(.*?)"')
p_block_elos = re.compile(r',elo:(.*?),')
p_block_carmelos = re.compile(r'carmelo:(.*?),')
for block in info_blocks:
if block == info_blocks[0]: block = block.split('forecasts:')[-1]
teams = get_column(block, p_block_teams)
teams_fullnames = [team_dict[team] for team in teams]
elos = get_column(block, p_block_elos)
rounded_elos = [round(float(elo)) for elo in elos] # generate rounded values similar to the js func
carmelos = get_column(block, p_block_carmelos)
rounded_carmelos = [round(float(carmelo)) for carmelo in carmelos]
dates = get_column(block, p_block_dates, len(elos)) # determine length of `elos` so can extend single date in block to match length for zipping lists for output
df = pd.DataFrame(list(zip(dates, teams, teams_fullnames, elos, rounded_elos, carmelos, rounded_carmelos)))
if final.empty:
final = df
else:
final = pd.concat([final, df], ignore_index = True)
return final
def get_date_sorted_df_with_change_column(final):
grouped_df = final.groupby(['TEAM (Abbr)'])
grouped_df = grouped_df.apply(lambda _df: _df.sort_values(by=['DATE'], ascending=False ))
grouped_df['1-WEEK CHANGE'] = pd.to_numeric(grouped_df['CARM-ELO'], errors='coerce').fillna(0).astype(int).diff(periods=-1)
# Any other desired changes to columns....
return grouped_df
def write_csv(final, file_name):
final.to_csv(f'C:/Users/User/Desktop/{file_name}.csv', sep=',', encoding='utf-8-sig',index = False, header = True)
def main():
response_text = requests.get('https://projects.fivethirtyeight.com/2017-nba-predictions/js/bundle.js?v=c1d7d294b039ddcc92b494602a5e337b').text
team_dict = get_team_dict(response_text)
p_info_blocks = re.compile(r'last_updated:".+?Z",teams.+?\]', re.DOTALL)
info_blocks = p_info_blocks.findall(get_data(15,response_text))
final = get_df_from_processed_blocks(info_blocks, team_dict)
headers = ['DATE', 'TEAM (Abbr)', 'TEAM (Full)', 'ELO', 'Rounded ELO', 'CARM-ELO', 'Rounded CARM-ELO']
final.columns = headers
grouped_df = get_date_sorted_df_with_change_column(final)
write_csv(grouped_df, 'scores')
if __name__ == "__main__":
main()
了解正则表达式：
我建议将正则表达式模式粘贴到在线正则表达式引擎中，并观察其描述。也许在浏览器或编辑器中针对源js文件进行测试。例如，生成块的正则表达式保存为here。
然后，应该为您提供某种解释。免责声明：我不是正则表达式专家。随时提出改进建议。
比较输出：
这是网页和输出的示例比较。
网页
输出：
读：
Regex
关于r - R中的Web爬网:处理WebSites上的选项卡，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57931696/