搜索引擎机器人会抓取我动态生成的 URL 吗？我的意思是 php 基于 url 中的 GET 变量生成的 html 页面。链接看起来像这样:
http://www.mywebsite.com/view.php?name=something
http://www.mywebsite.com/view.php?name=somethingelse
http://www.mywebsite.com/view.php?name=something
我尝试使用此处的测试爬虫来爬取我的网站:http://robhammond.co/tools/seo-crawler但它只访问我的 View 页面一次，标题中只有一个变量。
我网站上的大部分内容都是由数据库中的这些 GET 变量生成的，因此我非常希望搜索引擎能够抓取这些页面。
最佳答案
有些搜索引擎会，有些则不会。 Google for one 确实包含动态生成的页面:https://support.google.com/webmasters/answer/35769?hl=en
请务必检查您的 robots.txt 文件以确保您不希望爬虫看到的文件被阻止，而您希望看到的文件em> 想要索引的没有被阻止。
此外，请确保您希望编入索引的所有页面都通过其他页面链接，您有站点地图，或者将单独的 URL 提交给您希望将您的网站编入索引的搜索引擎。
关于php - 抓取网站和动态网址，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28370278/