.net - HttpBrowserCapability.Crawler 属性 .NET

标签 .net web-crawler

HttpBrowserCapability.Crawler 属性 ( http://msdn.microsoft.com/en-us/library/aa332775(VS.71).aspx ) 如何工作?我需要检测合作伙伴的自定义爬网程序,并且此属性返回 false。

在哪里/如何添加他的用户代理以便该属性返回 true?除了创建自己的用户代理检测机制之外,还有其他方法吗?

最佳答案

这一切都是由作为 .NET 框架一部分的默认 browsercaps 声明驱动的。

要设置此特定抓取工具,您需要向 web.config 添加自定义 browserCaps 部分,以将其标识为抓取工具。

关于如何进行此操作的 MSDN 文档有很好的记录,here is a link.

关于.net - HttpBrowserCapability.Crawler 属性 .NET,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/222564/

相关文章:

c# - 处置 CancellationTokenSource 及其子 CancellationTokenRegistration

c# - 使用正则表达式抓取'\'之后的部分

c# - 获取 "-"之前所有字符的正则表达式

python - Scrapy 教程示例

python - json.decoder.JSONDecodeError : Expecting value: line 1 column 1 (char 0) Scrapy

python - 如何逐步在 Python Selenium 中向下滚动

c# - 使用 DateTime.TryParse 检查字符串是否为有效日期

c# - Linq Entity Framework 忽略 IS NOT NULL

python - 使用 python 和 selenium 更改输入字段的值并按 Enter 键

html - scrapy - 如何从 'div' 获取文本