使用 PHP 抓取时如何避免陷入循环链接陷阱？
最佳答案
如果您将访问过的 url 存储在某种数组中，您可以检查该 url 是否已经被访问过，如果是，则不要再次访问它。
关于php - 如何避免 phpcrawl 中的循环机器人陷阱？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34326564/
标签 php web-crawler
使用 PHP 抓取时如何避免陷入循环链接陷阱？
最佳答案
如果您将访问过的 url 存储在某种数组中，您可以检查该 url 是否已经被访问过，如果是，则不要再次访问它。
关于php - 如何避免 phpcrawl 中的循环机器人陷阱？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34326564/
相关文章：
wordpress - 像WordPress这样的计划帖子是如何工作的，它是一个cron？
python - Scrapy Spider 在处理过程中出现错误
php - 无法使用 PHPExcel Reader 将字符从 PHP 导入到 MySQL 表
php - 用于 Google Reader 同步的 16 个字符十六进制的长整数
linux - 使用 wget 镜像具有相同名称的路径和子文件夹的网站
python - Scrapy : getting only td elements with ALIGN=RIGHT
seo - robots.txt 中 'Allow' 的使用