python - 使用 PRAW 获得超过 100 个搜索结果？

Question

我使用以下代码通过 PRAW 4.4.0 获取 reddit 搜索结果:

params = {'sort':'new', 'time_filter':'year'}
return reddit.subreddit(subreddit).search('', **params)

我想从 subreddit 中无限量地抓取帖子，最多一年。 Reddit 的搜索功能(以及相应的 API)通过“after”参数实现了这一点。但是，上述搜索功能不接受“after”作为参数。有没有办法使用PRAW的.search()获取100多个搜索结果？

Answer 1

是的，通过发送参数 limit=None 会将其增加到 1000，但不能保证任何时间范围并且无法获取超过 1000 的数据。但是您可以使用 cloudsearch 语法。在 reddit wiki https://www.reddit.com/wiki/search#wiki_cloudsearch_syntax 中有详细描述。并且是非常强大的搜索增强器。

为了用一些代码支持它，可以通过这种方式实现像这种情况的示例用法:

import datetime
params = {'sort':'new', 'limit':None, 'syntax':'cloudsearch'}
time_now = datetime.datetime.now()
return reddit.subreddit(subreddit).search('timestamp:{0}..{1}'.format(
    int((time_now - datetime.timedelta(days=365)).timestamp()),
    int(time_now.timestamp())),
    **params)

每个查询限制为 1000 个结果，但由于指定的时间范围，您可以针对不同的时间范围查询多次。 IE。抓取 1000 个提交，从最旧的提交中获取 utc_time 并将该时间作为时间戳的第一个参数发送，这将为您提供从上次查询停止的时间点开始的结果。