java - 使用 Java (HTMLUnit) 抓取网页,然后将结果写入 mySQL 数据库

标签 java mysql html

我已经能够使用 Java 和 HTMLUnit 来抓取网页,但是我不确定如何将结果数据写入远程托管服务器上的 MySQL 数据库。如果可能的话,我还需要定期(也许每天一次)进行此操作,而无需手动运行程序。

这可能吗?我能否获得有关如何执行此操作的任何指导(无论是否彻底)?

谢谢!

最佳答案

将页面的 HTML 放入某个字符串变量

String scrapedHtml = "";

在mysql中创建一个带有text字段的表

create table html_store (
     id int primary key autoincrement,
     content text not null
);

使用 JDBC 代码连接数据库并插入数据。正确设置connectionURL等参数

Connection conn = DriverManager.getConnection(connectionURL, user, password);
PreparedStatement pstmt = 
    conn.prepareStatement("insert into html_store (content) values (?)");
pstmt.setString(1, scrapedHtml); 
pstmt.executeUpdate();
pstmt.close();
conn.close();

关于java - 使用 Java (HTMLUnit) 抓取网页,然后将结果写入 mySQL 数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3292714/

相关文章:

java - 重建按位运算操作的字符串

java - 我如何在java中制定jess规则

MySQL 在年中的第几天和年中选择记录

php - 通知: Undefined index 'upload'

python - Chrome 将自动填充字段错误地识别为 "address"

java - java.lang.Thread 中新增的附加字段,是什么意思?

java - Spring 启动: MVC not returning view : thymeleaf & Spring data

mysql - 如何按 "calculated"(不是 MySQL 函数)值进行排序?

javascript - Facebook API 没有响应

html - 下拉列表的对齐问题