http - 网站重定向到新地址但不发送 3XX 代码

标签 http web-crawler redirect

我正在尝试抓取网站“http://www.daxontech.com” 如果我们在网络浏览器中输入上述地址,地址会自动更改为 http://www.benqmaterials.com/index.aspx

我尝试使用响应代码将我的程序重定向到上述网站,但响应代码是 200。有没有办法检索上述地址。我正在使用 Jsoup 进行爬网。 提前致谢。

最佳答案

您引用的站点使用元重定向,该重定向在 header 发送到客户端后完成。

<meta http-equiv="refresh" content="0; url=http://www.BenQMaterials.com/index.aspx">     

这是您正在抓取的网站的错误,如果不解析页面中的 html 以获取元刷新标签(或其他类似的重定向方法),您可能无能为力

关于http - 网站重定向到新地址但不发送 3XX 代码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20968869/

相关文章:

C# OnClientClick ="aspnetForm.target=' _blank';"

jquery - 检测 ajax 请求中的重定向?

http - 无状态协议(protocol)和有状态协议(protocol)

python - 证书验证失败 (_ssl.c :645)>” for one particuar domain

regex - 具体来说,RewriteCond %{QUERY_STRING}

javascript - 使用 Javascript 或其他方式在 ASP.NET MVC 中重定向是最好的方法吗?

rest - 如何通过 Rest Service 使用 Kotlin/Jvm 将图像上传到 Parse Server?

javascript - 非侵入性的javascript性能代理?

python - 如何使用Python登录Facebook/Myspace并爬取内容?

java - 使用Jsoup登录该页面失败