java - 如何编写一个可以浏览网页并在网页上进行操作的自动化机器人

标签 java screen-scraping bots

我需要编写一个需要执行以下操作的机器人:

转到一个jsp页面并
通过以下方式搜索:

  • 1:在搜索框上写东西
  • 2:点击搜索按钮(提交按钮)
  • 3:单击生成的按钮/链接之一(具有不同输出的相同jsp页面)
  • 4:获取新页面的整个html(同一个jsp页面不同输出)

  • 第四个可以通过屏幕抓取来完成,我认为我不需要帮助。但我需要一些指导来做从 1 到 3 的选项。任何链接或只是一些有助于我谷歌了解它的关键字将不胜感激。我打算用java来做到这一点。

    最佳答案

    您只需要HTMLUnit

    这是其描述的摘录
    HtmlUnit is a "GUI-Less browser for Java programs". It models HTML documents and provides an API that allows you to invoke pages, fill out forms, click links, etc... just like you do in your "normal" browser.
    P.S.:曾用它来构建一个网络抓取项目;)

    关于java - 如何编写一个可以浏览网页并在网页上进行操作的自动化机器人,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5322996/

    相关文章:

    java - 如何在 Spring Data MongoDB 中投影 $strLenCP

    python - 在Linux服务器中使用Scrapy Crawlera时,连接被对方​​拒绝: 111: Connection refused.

    javascript - Discord.js deleteMessage() 不起作用

    ubuntu - 在 Hipchat (Ubuntu) 上安装 Hubot

    javascript - 如果 GuildID 未在我的代码中列入白名单,如何让我的 Discord.js (Commando) 机器人离开服务器(加入时)?

    java - 文件对象是否支持所有文件(键盘、目录、文件等)?

    java - 在 Windows 上安装和使用 Protocol Buffers for Java

    java - 如何读取第一行列中的第二行列值

    javascript - 可以使用 scrapy 从使用 AJAX 的网站中抓取动态内容吗?

    python - 单击网站上的按钮然后抓取网页