我想使用 JSoup 提取网站的所有电子邮件地址和 URL,并将其存储在哈希集中(这样就不会重复)。我正在尝试这样做,但我不确定我到底需要将什么放入 select 中,或者我是否做对了。这是代码:
Document doc = Jsoup.connect(link).get();
Elements URLS = doc.select("");
Elements emails = doc.select("");
emailSet.add(emails.toString());
linksToVisit.add(URLS.toString());
最佳答案
这样做:
获取html文件:
Document doc = Jsoup.connect(link).get();
将电子邮件提取到 HashSet 中,使用正则表达式提取页面上的所有电子邮件地址:
Pattern p = Pattern.compile("[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\\.[a-zA-Z0-9-.]+");
Matcher matcher = p.matcher(doc.text());
Set<String> emails = new HashSet<String>();
while (matcher.find()) {
emails.add(matcher.group());
}
提取链接:
Set<String> links = new HashSet<String>();
Elements elements = doc.select("a[href]");
for (Element e : elements) {
links.add(e.attr("href"));
}
完整且有效的代码在这里:https://gist.github.com/JonasCz/a3b81def26ecc047ceb5
现在不要成为垃圾邮件发送者!
关于web-scraping - 使用 JSoup 抓取电子邮件和链接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30495697/