我正在尝试获取亚马逊上的评论数量。 但是，当我获取数据时，它与网站上的数据不同。 (131 是在抓取之后，655 来自亚马逊) 我附上页面截图和抓取后的截图。
import bs4
import requests
import time
url3 = "https://www.amazon.it/dp/B076S8NSCD"
headers = {"User-Agent" : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.5 Safari/605.1.15'}
res = requests.get(url3, headers = headers)
soup = bs4.BeautifulSoup(res.text, "html.parser")
reviews = soup.find(id = "acrCustomerReviewText").get_text()
print(reviews)
最佳答案
如果您没有使用高级版 rotating residential proxies要抓取亚马逊评论，这很可能是一种伪装措施，您的 IP 被标记为发送过多请求。
关于python - 使用 python 和 bs4 抓取后的不同数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60282010/