javascript - 如何使用 beautifulsoup 从 js 和 Reactjs 获取数据？

Question

我正在使用 beautiful 进行网络爬行。我从各个网站获取数据，但我没有从某些网站获取数据，我发现这些网站使用 js 显示数据。

我将以下脚本写入派生数据，它工作正常，但在某些使用 JS 获取数据的脚本中则不然。

from bs4 import BeautifulSoup
import requests
import urllib2

params = {"url":"search-alias=aps","field-keywords":"j7"}
url = "http://www.amazon.in/s/ref=nb_sb_noss"

soup = BeautifulSoup(requests.get(url, params=params).content)
ul = soup.findAll("h2" ,{"class":"a-size-medium a-color-null s-inline s-access-title a-text-normal"})
j=0
for a in ul:
   print a.contents
   print "\n"
   j=j+1

它工作得很好，但是有些网站在那里使用js来获取数据并显示数据，所以我无法通过这种方式获取数据

Answer 1

网络的本质是客户端-服务器:服务器将内容传送到网站，然后浏览器显示它。这可能包括客户端脚本，即浏览器执行的 JavaScript 代码，这可能会修改 DOM .

因此，为了获取修改后的 DOM，任何客户端(包括您的 Python 代码)都必须从 HTML 创建 DOM，然后像浏览器一样执行 JavaScript 来修改 DOM。

this question的答案可能会给你一些线索。可悲的是，因为我现在注意到这个答案，这意味着这个问题确实应该结束。