java - 如何在 Android 中执行网页抓取?

标签 java android web-scraping htmlunit

我想抓取我的网站,然后使用网站中的数据填充我的应用程序中的元素,我的网站有登录页面,某些页面仅在登录完成后打开。

我开始使用 HtmlUnit,因为它是一个 headless 浏览器,并在 java IDE 中完成了自定义 api,后来我尝试使用从 java IDE 生成的 jar,发现 HtmlUnit 和 Android 存在不兼容问题。

谁能提出解决这个问题的方法吗?

编辑: 由于没有人真正回答这个问题,我目前正在使用 android 的 native WebView 进行解决,将其可见性设置为不可见,然后使用与 Java 对象连接的 javascript 接口(interface),我可以注入(inject) JS 代码来抓取任何数据。

最佳答案

使用Jsoup为此目的的图书馆。非常方便且易于使用。 从 this answer 开始并遵循文档和其他示例。

关于java - 如何在 Android 中执行网页抓取?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34469737/

相关文章:

java - 使用 Jacob 从远程系统读取 Windows 注册表信息

android - OSMDroid PathOverlay 绘图在高缩放级别时损坏

python - 请求在表单上发布不返回生成的页面

java - 如何从 Firebase 实时数据库加载随机字符串?

rvest:选择并抓取特定(标题)字符串后的 html 表

c# - 抓取 JavaScript 动态生成的数据

Java 任务控制显示 "Flightrecorder is not supported for non hotspot jvms"

java - PrintWriter 换行问题。在 Eclipse 中工作正常

java - 如何计算总项目的总和

Android:在 Webview 上播放 youtube 视频