我正在使用 Mechanize 登录 LinkedIn 并获取某个公司的所有员工
但是,当我下载带有员工搜索结果的页面时,它缺少整个中间部分,我不知道为什么。
这是我的代码(取出我的linkedin登录信息):
from mechanize import Browser
from bs4 import BeautifulSoup
br=Browser()
br.set_handle_robots(False)
br.open('https://www.linkedin.com/')
br.select_form('login')
br['session_key']=YOUR_EMAIL_HERE
br['session_password']=YOUR_PASSWORD_HERE
response=br.submit()
page=br.open('https://www.linkedin.com/vsearch/p?f_CC=10667')
html=page.read()
soup=BeautifulSoup(html)
text=soup.prettify()
text=text.encode("ascii", "ignore")
fo= open("website.html",'wb')
fo.write(text)
fo.close()
响应是这样的(我建议下载 HTML 并用浏览器查看):http://pastebin.com/7z1dPiTd
我不确定我是否正确使用了 open 函数;这可能是问题所在
无论如何,先谢谢了!如果您有任何问题,请告诉我。
最佳答案
好吧,
在做了一些研究之后,似乎 Mechanize 没有等待 Javascript 加载,因此我没有下载正确的信息。
Mechanize 没有提供等待 Javascript 的方法,所以我必须使用风车或 Selenium
看看这些:
here
和
here
关于python - 为什么 Mechanize 没有下载完整页面?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23304453/