网络爬虫是使用 cookie 还是丢弃它们？
最佳答案
爬虫只是一种通过 http 下载文件并尝试查找更多 URL 以下载更多文件的软件。
由爬虫的创建者决定他们是希望使用还是忽略 javascript 和 cookie。
我相信大多数爬虫目前会忽略 javascript 和 cookie，但没有理由必须如此(而且您当然不应该依赖它，比如出于安全原因)
关于cookies - 网络爬虫能识别cookies吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1078358/
相关文章：
codeigniter - 在 Codeigniter 中创建一个 SEO 友好的 url
ruby-on-rails - Rails 站点的 SEO，现在还是以后？
cookies - cfhttpparam 类型的 header 和 cookie 之间的区别
authentication - Servant 客户端如何处理收到的 cookie？
c# - ASP.NET Web.sitemap 生成 sitemap.xml
apache - Hadoop、HBase 和 Apache Nutch 兼容版本
python - 如何设置Scrapy规则仅解析/浏览/页面？
internet-explorer - 我可以在 ActiveX 中使用 IHTMLDocument2 访问 HttpOnly cookie 吗？