java - 使用 Jsoup 提交登录表单时出现问题

标签 java php html web-scraping jsoup

由于某种原因,当我使用正确的登录信息时,此代码不会让我进入该网站。 System.out.println 发布了登录页面的代码,表明我的代码不起作用。有人可以告诉我我忘记了什么或者出了什么问题吗?

public void connect() {

    try {
        Connection.Response loginForm = Jsoup.connect("https://www.capitaliq.com/CIQDotNet/Login.aspx/login.php")
                .method(Connection.Method.GET)
                .execute();

        org.jsoup.nodes.Document document = Jsoup.connect("https://www.capitaliq.com/CIQDotNet/Login.aspx/authentication.php")
                .data("cookieexists", "false")
                .data("username", "myUsername")
                .data("password", "myPassword")
                .cookies(loginForm.cookies())
                .post();
        System.out.println(document);
    } catch (IOException ex) {
        Logger.getLogger(WebCrawler.class.getName()).log(Level.SEVERE, null, ex);
    }
}

最佳答案

除了用户名密码cookie之外,该网站还需要两个额外的登录值 - VIEWSTATEEVENTVALIDATION
您可以从第一个 Get 请求的响应中获取它们,如下所示 -

Document doc = loginForm.parse();
Element e = doc.select("input[id=__VIEWSTATE]").first();
String viewState = e.attr("value");
e = doc.select("input[id=__EVENTVALIDATION]").first();
String eventValidation = e.attr("value");

并将其添加在密码之后(顺序并不重要)-

org.jsoup.nodes.Document document = (org.jsoup.nodes.Document) Jsoup.connect("https://www.capitaliq.com/CIQDotNet/Login.aspx/authentication.php").userAgent("Mozilla/5.0")               
            .data("myLogin$myUsername", "MyUsername")
            .data("myLogin$myPassword, "MyPassword")
            .data("myLogin$myLoginButton.x", "22")                   
            .data("myLogin$myLoginButton.y", "8")
            .data("__VIEWSTATE", viewState)
            .data("__EVENTVALIDATION", eventValidation)
            .cookies(loginForm.cookies())
            .post();

我还会将 userAgent 字段添加到两个请求中 - 有些网站会对其进行测试并将不同的页面发送到不同的客户端,因此如果您希望获得与浏览器相同的响应,添加到请求 .userAgent("Mozilla/5.0") (或您使用的任何浏览器)。

编辑
userName 的字段名称为 myLogin$myUsername,密码为 myLogin$myPasswordPost 请求也是包含有关登录按钮的数据。我无法测试它,因为我在该网站上没有用户,但我相信它会起作用。希望这能解决您的问题。

编辑2
要在登录期间启用记住我字段,请将此行添加到post请求中:

.data("myLogin$myEnableAutoLogin", "on")

关于java - 使用 Jsoup 提交登录表单时出现问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31871801/

相关文章:

java - 如何获取 MySQL 数据并将其读入 Android 应用程序

java - 从 Ajax 调用获取响应文本

jquery - 如何在 Angular Controller 中使用 Typeahead JS 定位 Bootstrap 模式

java - Java eclipse中不存在jar资源

java - 当用户检查 JCheckBox 时,尝试让 Jframe 类和 JComponent 类进行交互

java - 如何组合两个列表(或两个任何其他类型的集合)

PHP/MySQL 并发 - 写依赖于读 - 临界区

java - 在屏幕中将耗时显示为 Score java libgdx

php - 来自外部 php 文件的 CRUD

php - 在网站上创建自动旋转 "news"提要的最佳方式?