python - 如何使用 Python 解析无限滚动页面(例如 Wallbase.cc/search/sky)？

Question

不确定 Mechanize 或 BeautifulSoup 是否有任何帮助。任何建议将不胜感激!

Answer 1

Mechanize 和 Beautiful soup 无法与用于无限滚动的 javascript 接口(interface)。

Selenium jar 。

此外，如果您在使用无限滚动时查看 ajax 请求，您会看到一个到 http://wallbase.cc/search/160 的 post 请求，其中包含请求数据:

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

160对应图片范围所以之前的请求是wallbase.cc/searc/128。