我正在为拥有许多不同网站属性的客户做 SEO 类型的工作——这些都不是我自己构建的。特别是其中之一，我正在链接 here , 似乎在被搜索引擎索引时遇到问题。有趣的是，我尝试了多种站点地图生成器工具，但它们似乎也无法为站点编制索引；尽管该站点仅由几个页面和外部链接组成，但站点地图工具(我怀疑搜索引擎)只能看到主页本身，而没有其他内容。
在 Google 网站管理员工具中，我看到了一些与 home/index.html 有关的抓取错误 (404)，但没有其他问题。此外，在 Google Analytics 中，超过 80% 的流量是直接流量——即不是搜索流量——这似乎令人担忧。该网站已经上线了大约一个月，并且正在通过各种 channel 进行推广。即使使用域名本身搜索 Google 也不会在结果中显示主页 (!)，更不用说任何相关的关键字了。
我的最终问题是代码是否存在任何明显的问题，可能会妨碍正确的索引编制。我注意到开发人员选择通过命名目录来构建导航，即链接到“home/index.html”、“team/index.html”、“about/index.html”等，这似乎是最佳选择命名 HTML 文件本身，即“team.html”和“about.html”。这可能是问题的一部分吗？
感谢您提供任何见解。
最佳答案
这里有两个主要问题。
第一个问题是根 http://www.raisetheriver.org/有一个元刷新将页面重定向到 http://www.raisetheriver.org/home/index.html
Google 不建议使用元刷新，如果要重定向页面，则应使用 301 重定向。但是，我建议不要将根主页重定向到另一个页面，因为网站主页应该是根页面。
第二个问题是网站上的所有页面都被阻止在 Google 中编入索引，因为它们在源代码中具有以下代码:<meta name="robots" content="noindex">指示搜索引擎不要索引该页面。
纠正这些问题，该网站将能够在 Google 中编入索引，并且站点地图生成器将能够抓取该网站。
关于html - 链接结构引起的站点爬网/索引问题？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19150199/