types - 如何使用 JSoup 从网页获取资源类型？

Question

我正在尝试用 Groovy 制作一个网络爬虫。我希望从网页中提取资源类型。我需要检查特定网页是否具有以下资源类型:

PDF

JMP 文件

SWF 文件

ZIP 文件

MP3 文件

图片

电影文件

JSL 文件

我正在使用crawler4j进行爬行，并使用JSoup进行解析。 一般来说，我想知道获取我将来可能需要的任何资源类型的任何方法。我在 BasicCrawler.groovy 中尝试了以下操作。它只是告诉页面的内容类型，即 text/html 或 text/xml。我需要获取该页面上的所有类型的资源。有错误的地方请指正:

@Override
void visit(Page page) {
    println "inside visit"
    int docid = page.getWebURL().getDocid()
    url =  page.getWebURL().getURL()
    String domain = page.getWebURL().getDomain()
    String path = page.getWebURL().getPath()
    String subDomain = page.getWebURL().getSubDomain()
    parentUrl = page.getWebURL().getParentUrl()
    String anchor = page.getWebURL().getAnchor()
    println("Docid: ${docid} ")
    println("URL: ${url}  ")
    Document doc = Jsoup.connect(url).get();
    Elements nextLinks = doc.body().select("[href]");
    for( Element link : nextLinks ) {
        String contentType = new URL(link.attr("href")).openConnection().getContentType();
        println url + "***" + contentType
    }
    if (page.getParseData() instanceof HtmlParseData) {
        HtmlParseData htmlParseData = (HtmlParseData) page.getParseData()
        String text = htmlParseData.getText()
        String html = htmlParseData.getHtml()
        List<WebURL> links = htmlParseData.getOutgoingUrls()

    }
    println("FINISHED CRAWLING")
    def crawlObj = new Resource(url : url)
    if (!crawlObj.save(flush: true, failOnError: true)) {
        crawlObj.errors.each { println it }
    }
}

打印两个文档ID后，它抛出错误:ERROR crawler.WebCrawler - Exception while running the visit method. Message: 'unknown protocol: tel' at java.net.URL.<init>(URL.java:592)

Answer 1

您可以检查文档中的所有 URL 并向服务器询问内容类型。 这是一个快速+肮脏的例子:

Document doc = Jsoup.connect("http://yourpage").get();
Elements elements = doc.body().select("[href]");
for (Element element : elements) {
    String contentType = new URL(element.attr("href")).openConnection().getContentType();
}

对于图像、嵌入元素等，您应该搜索 src 属性。