from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.animeplus.tv/anime-show-list/")
content =(html.read())
soup = BeautifulSoup(content)
print(soup.prettify())
该脚本在其他网页上运行良好，但我为我得到的目标网站运行该程序。
<meta .$_server["request_uri"]."'"="" content="0;URL='" http-equiv="refresh"/>
我不太明白html代码。
我认为这是某种重定向或防止网络抓取的方法。
有没有办法让Python在重定向后访问代码或者以浏览器返回源代码的方式访问代码？
谢谢!
最佳答案
这里的技巧是页面重定向到自身并设置 Cookie header ，这很重要，没有它，您将无法获得在浏览器中看到的 HTML。
这是使用 requests 的解决方案- 在同一 session 中打开同一页面:
import requests
from bs4 import BeautifulSoup
url = "http://www.animeplus.tv/anime-show-list/"
session = requests.session()
session.get(url)
response = session.get(url) # open up the page second time
soup = BeautifulSoup(response.content)
print(soup.title.text) # prints: "Watch Anime | Anime Online | Free Anime | English Anime | Watch Anime Online - AnimePlus.tv"
或者，您可以使用 mechanize ，但目前不支持 python 3。其工作原理如下:
>>> import mechanize
>>> browser = mechanize.Browser()
>>> browser.open('http://www.animeplus.tv/anime-show-list/')
>>> print browser.response().read()
<!DOCTYPE html>
<html>
<head>
<title>Watch Anime | Anime Online | Free Anime | English Anime | Watch Anime Online - AnimePlus.tv</title>
...
关于Python错误-重定向尝试解析网页，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24463104/