python - 使用 Python 在低级别执行页面的 JavaScript？

Question

何时 this页面是用 urllib2 抓取的:

url = https://www.geckoboard.com/careers/
response = urllib2.urlopen(url)
content = response.read() 

在源代码 (content) 中找不到以下元素(作业链接)

查看浏览器中呈现的完整源代码:

因此，FRONT-END ENGINEER 元素似乎是由 Javascript 动态加载的。是否可以让 urllib2 (或其他低级库)执行此 Javascript，而不涉及例如Selenium、BeautifulSoup 还是其他？

Answer 1

这些信息是使用一些ajax请求加载的。您可以使用 mozilla 的 firebug 扩展，或者 google chrome 有自己的工具来获取这些详细信息。只需在打开 URL 时在 google chrome 中按 f12 即可。您可以在那里找到完整的详细信息。

在那里您将找到一个带有 url https://app.recruiterbox.com/widget/13587/openings/

的请求

来自上述网址的信息将在该网页中呈现。