python - 如何获取/抓取 Play 商店或应用商店中应用的所有评论，我只获得前 40 条评论？

Question

我正在为此使用 python。 我要播放一个应用程序的商店 url，然后将正文解析为树，使用 xpath 提取数据

reviews = parsed.xpath('//div[@class="single-review"]//div[@class="review-body with-review-wrapper"]')

然后将其写入文件

reviewFile = rev.sub('[^A-Za-z0-9.,\' ]+', '', reviewFile.text_content().replace('  Full Review  ','').strip())
    print('writing reviewFile'+reviewFile)

但有了这个，我只能在 Google Play 商店中获得前 40 条评论，而不是所有评论。

在显示前 40 条评论后，Google Play 开始通过 ping 命令加载更多评论 http://play.google.com/store/getreviews

Answer 1

您必须发送一个帖子请求到https://play.google.com/store/getreviews .发布请求必须包含以下 header :

headers = {
  'Content-Type': 'application/x-www-form-urlencoded;charset=utf-8'
}

您的查询(页码、评论排序等)应该是一个 urlencoded 字符串，例如:

payload = 'reviewType=0&pageNum=' + pagenum + '&id=' + appid + '&reviewSortOrder=2&xhr=1'

然后您可以使用请求模块发送此请求:

text = requests.post(url, data=payload, headers=headers).text

注意: 响应实际上是一个列表的形式，其中包含您必须解析的 html，并且它有这个奇怪的 )]}' 东西在开始时你将不得不摆脱。