我有一个正在运行的 Drupal 站点。该网站未针对 SEO 进行适当优化，并且由于/category、/taxonomy 等原因，在 google 中生成了大量重复内容
结构是:
/var/www/appname/这包含一个自定义构建的应用程序 /var/www/appname/drup 这包含我的 drupal 安装
我在 google 搜索 site:appname.com 中浏览了网站结果，发现有很多重复的内容，因为/content、/taxonomy、/node 等。
我的 ROBOTS.txt .. 在/var/www/appname 中已经包含以下内容，但令我惊讶的是这些页面仍在编入索引。请指教。
User-agent: *
Crawl-delay: 10
Allow: /
Allow: /drup/
# Directories
Disallow: /drup/includes/
Disallow: /drup/misc/
Disallow: /drup/modules/
Disallow: /drup/profiles/
Disallow: /drup/scripts/
Disallow: /drup/themes/
# Files
Disallow: /drup/CHANGELOG.txt
Disallow: /drup/cron.php
Disallow: /drup/INSTALL.mysql.txt
Disallow: /drup/INSTALL.pgsql.txt
Disallow: /drup/install.php
Disallow: /drup/INSTALL.txt
Disallow: /drup/LICENSE.txt
Disallow: /drup/MAINTAINERS.txt
Disallow: /drup/update.php
Disallow: /drup/UPGRADE.txt
Disallow: /drup/xmlrpc.php
# Paths (clean URLs)
Disallow: /drup/admin/
Disallow: /drup/comment/reply/
Disallow: /drup/contact/
Disallow: /drup/logout/
Disallow: /drup/node/add/
Disallow: /drup/search/
Disallow: /drup/user/register/
Disallow: /drup/user/password/
Disallow: /drup/user/login/
# Paths (no clean URLs)
Disallow: /drup/?q=admin/
Disallow: /drup/?q=comment/reply/
Disallow: /drup/?q=contact/
Disallow: /drup/?q=logout/
Disallow: /drup/?q=node/add/
Disallow: /drup/?q=search/
Disallow: /drup/?q=user/password/
Disallow: /drup/?q=user/register/
Disallow: /drup/?q=user/log
最佳答案
您只需要一个 XML 站点地图来告诉 Google 所有页面的位置，而不是让 Google 自行抓取它。
事实上，当 Stackoverflow 处于测试阶段时——他们试图让爬虫发挥其魔力。然而，在高度动态的网站上，几乎不可能以这种方式获得足够的结果。
因此，通过 XML 站点地图，您可以告诉 Google 每个页面的位置、优先级以及更改频率。
关于drupal - Google 中的重复内容。 Drupal 搜索引擎优化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/6172052/