javascript - 抓取 500 不存在的 URL

标签 javascript performance web-crawler internal-server-error google-crawlers

Google 抓取会对不存在的页面引发服务器错误,这些页面是从不存在的页面链接的。

示例:

http://www.dailyforex.com/forex-technical-analysis/forex-blog-reviews/page-506 链接自: http://www.dailyforex.com/forex-technical-analysis/forex-blog-reviews/page-504

我们的网站上从来不存在此 URL 的结构和分页! 有谁知道这些链接来自哪里以及如何修复它?

我有很多这样的链接,请帮我解决!

tnx, 莉娜

最佳答案

它来自脚本

// visitorlp - The user first landing page
googletag.pubads().setTargeting("visitorlp", "http://www.dailyforex.com/forex-technical-analysis/forex-blog-reviews/page-506");

关于javascript - 抓取 500 不存在的 URL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45530688/

相关文章:

javascript - 动态添加行onchange事件javascript

javascript - 更改 node_modules 中的包时如何触发 React 的热重载?

jquery - jQuery has() 和 filter() 方法有什么区别?

java - 尝试获取响应代码时代码挂起

javascript - 是否可以通过站点树远程或本地直接爬取站点树?

swift - 我们可以从 LinkPresentation 框架中的 LPLinkView 中提取图像吗?

javascript - TypeScript 中的赋值运算符重载

javascript - 如何使用 Jest 来监视 prop 内的方法并将其传递给组件?

java - 为什么 String.strip() 比 String.trim() 在 Java 11 中的空白字符串快 5 倍

sql - 如何在执行计划中找到Expr####