我需要为所有链接抓取网页，以便稍后访问它们以查找并记录设置 cookie 的位置。这是针对要求用户使用已设置的 cookie 的新英国立法，我决定尝试自动化其中的一些过程以节省一些时间。
我的问题是我公司的网站使用大量 javascript 来呈现页面和内容，这意味着当我检索页面时(当时使用 html agility pack)它们主要包含大量 javascript 并且缺少一个很多链接在完全呈现时显示。我将其作为一个域上的 asp 应用程序托管，并传入 url 以抓取和访问网站页面上的所有链接。
有没有一种方法可以执行 javascript 以便呈现页面并且我可以获得所有链接？
最佳答案
您可以制作带有网络浏览器控件的 Windows 窗体。您可以设置 URL 并在页面加载时设置回调事件。它将呈现页面，包括 javascript，然后您可以访问 DOM(我想通过 WebBrowser.Document)。
关于c# - 在 c# asp.net 中执行 javascript 后抓取网页，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10092804/