javascript - 当页面需要启用 JavaScript 时，Python 获取 URL 内容

Question

我希望使用 Python 获取我网站上托管的文本文件的内容。服务器需要在您的浏览器上启用 JavaScript。因此，当我运行时:

    import urllib2  
    target_url = "http://09hannd.me/ai/request.txt"
    data = urllib2.urlopen(target_url) 

我收到一个 html 页面，要求启用 JavaScript。 我想知道是否有一种方法可以假装启用 JS 之类的。

谢谢

Answer 1

Selenium 是这里的方法，但还有另一个“hacky”选项。

基于这个答案:https://stackoverflow.com/a/26393257/2517622

import requests

url = 'http://09hannd.me/ai/request.txt'
response = requests.get(url, cookies={'__test': '2501c0bc9fd535a3dc831e57dc8b1eb0'})
print(response.content) # Output: find me a cafe nearby