java - 数据库问题

Question

我正在尝试使用 Serritor 抓取动态网页，但出现问题:

这是我的代码:

 public class MyCrawler extends BaseCrawler {

    public MyCrawler() {
        String pathToDriver = ".//ChromeDriver//chromedriver.exe";
        System.setProperty("webdriver.chrome.driver", pathToDriver);
        config.setWebDriver(new ChromeDriver());
        config.setFilterOffsiteRequests(true);
        config.addSeedAsString("http://yourspecificsite.com");
        config.setCrawlingStrategy(CrawlingStrategy.DEPTH_FIRST);
        config.setDelayBetweenRequests(Duration.ofSeconds(1));

    }

}

这是返回:

Exception in thread "main" java.lang.NoClassDefFoundError: org/openqa/selenium/htmlunit/HtmlUnitDriver
at com.github.peterbencze.serritor.internal.CrawlerConfiguration.<init>(CrawlerConfiguration.java:47)
at com.github.peterbencze.serritor.api.BaseCrawler.<init>(BaseCrawler.java:68)
at serritor_versuch2.MyCrawler.<init>(MyCrawler.java:21)
at serritor_versuch2.run.main(run.java:5)
Caused by: java.lang.ClassNotFoundException: org.openqa.selenium.htmlunit.HtmlUnitDriver
at java.net.URLClassLoader.findClass(Unknown Source)
at java.lang.ClassLoader.loadClass(Unknown Source)
at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
at java.lang.ClassLoader.loadClass(Unknown Source)
... 4 more

Answer 1

Exception in thread "main" java.lang.NoClassDefFoundError: org/openqa/selenium/htmlunit/HtmlUnitDriver

以上异常清楚地表明未找到 HtmlUnitDriver 类。如果您使用 Maven，则可能应该在 pom.xml 文件中添加 Maven 依赖项。

不确定您使用的是哪个版本，但这是最新版本。

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-htmlunit-driver</artifactId>
    <version>2.52.0</version>
</dependency>

如果您使用 gradle 或任何其他依赖项管理工具，请相应地查找:Maven Repository

如果您没有使用任何依赖管理工具，您应该下载 jar 文件并将其放入类路径中。