我正在编写一个网络抓取工具，并尝试在搜索框中输入搜索词。但是，当我尝试通过 ID 访问搜索框时，我似乎得到了 null。我刚刚学习 HtmlUnit，所以我可能会错过一些非常明显的东西，但我自己还无法识别这一点。
这是网站的代码:
<html xmlns="http://www.w3.org/1999/xhtml" xml:1ang="en" class="no-touch">
<head>-</head>
<body lang="en" class="garageBrand" emailcookiename="grgemailca" loyaltycookiename="grgloyaltyca">
<div id="fb-root" class="fb_reset">-</div>
<noscript>...</noscript>
<script>...</script>
<div id="container">
<div id="avsDialog" sty1e="disp1ay: none; position: absolute; top: 0; right: 0;"></div>
<input type="hidden" value="en" id="displayLanguage">
<input type="hidden" value="garageSiteCA" id="currSiteId">
<input type="hidden" value="en_CA" id="currLocale">
<div id="contentarea">
<div id="header" class="nonHeaderScroll">
<div id="topnav">...</div>
<div class="socialSearch">
<div id="searchMenu">
<form action="//www.garageclothing.com/ca/search/search.jsp" method="GET">
<input type="hidden" name="N" value="0">
<input type="hidden" name="Dy" value="1">
<input type="hidden" name="Nty" value="1">
<input type="hidden" name="Ntk" value="All">
<input type="hidden" name="Ntx" value="mode matchall">
<input id="searchText" maxlength="40" type="text" name="Ntt" class="textInput" placeholder="Search..." autocomplete="off">
<input class="mainSearchButton" type="image" src="//images.gdicdn.com/img/magnifying-glass.png?version=375" name="search">
</form>
</div>
这是我的代码:
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;
import com.gargoylesoftware.htmlunit.html.HtmlInput;
import java.io.IOException;
public class Main {
public static void main(String[] args) {
WebClient client = new WebClient();
client.getOptions().setJavaScriptEnabled(true);
client.getOptions().setCssEnabled(false);
client.getOptions().setUseInsecureSSL(true);
try {
HtmlPage page = client.getPage("https://www.garageclothing.com/ca");
// Check for popup.
if(page.getElementById("cboxClose") != null) {
page = page.getElementById("cboxClose").click();
}
// Debugging line that returns null:
System.out.println(page.getElementById("searchText"));
// What I would like to do:
/*HtmlInput searchInput = (HtmlInput) page.getElementById("searchText");
searchInput.setValueAttribute("red scarf");
HtmlSubmitInput submitBtn = page.getElementByName("search");
page = submitBtn.click();
System.out.println(page.asXml());*/
} catch (IOException e) {
e.printStackTrace();
}
}
}
最佳答案
即使页面看起来很简单，这个页面(像许多购物门户一样)确实很复杂，并且基于大量的 javascript(不仅对于页面本身，而且对于所有这些讨厌的跟踪器来观察用户)。如果您想了解有关此页面的更多信息，我建议使用像 Charles 这样的网络代理来捕获整个流量。
现在回到你的问题... 由于 HtmlUnit javascript 支持(基于 Rhino)并不完美，因此您会遇到一些 javascript 错误。为了不因js错误而停止，你必须配置客户端
webClient.getOptions().setThrowExceptionOnScriptError(false);
下一步是获取页面。这也不是那么简单，因为所有的 js 东西。看起来js的东西也替换了最初通过获取url返回的页面。因此，您必须执行三个步骤
- 获取页面
- 等待一段时间让js做一些工作
- 从当前窗口获取当前页面
现在您可以找到搜索字段了；在其中输入一些搜索，最后按搜索按钮。然后你必须再次执行这三个步骤才能获取当前内容。
希望有帮助......
public static void main(String[] args) throws IOException {
String url = "https://www.garageclothing.com/ca";
try (final WebClient webClient = new WebClient()) {
// do not stop at js errors
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getPage(url);
webClient.waitForBackgroundJavaScript(10000);
HtmlPage page = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();
HtmlInput searchInput = (HtmlInput) page.getElementById("searchText");
searchInput.type("red scarf");
HtmlElement submitBtn = (HtmlElement) page.getElementByName("search");
submitBtn.click();
webClient.waitForBackgroundJavaScript(10000);
page = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();
// System.out.println("------------------------------------------------");
// System.out.println(page.asXml());
System.out.println("------------------------------------------------");
final DomNodeList<DomNode> divs = page.querySelectorAll(".divProdPriceSale");
for (DomNode div : divs) {
System.out.println(div.asText());
}
}
}
关于java - 如何修复: HtmlUnit GetElementById Returns Null，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54029644/