java - Windows 环境上的 Apache Spark : spark. eventLog.dir

标签 java windows apache-spark event-log

我正在Windows环境下开发Spark 1.4。我必须设置 eventLog 目录,以便在应用程序完成后可以重新打开 Spark UI。

但是我无法设置eventLog.dir,它在Windows环境下给出错误。

配置是:

<entry key="spark.eventLog.enabled" value="true" />
<entry key="spark.eventLog.dir" value="file:///c:/sparklogs" /> 

我得到的异常:

java.io.IOException: Cannot run program "cygpath": CreateProcess error=2,  
The system cannot find the file specified
    at java.lang.ProcessBuilder.start(Unknown Source)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:206)

谁能给点建议吗?

最佳答案

我已经成功使用这种格式:

entry key="spark.eventLog.dir" value="c:////sparklogs" /> 

关于java - Windows 环境上的 Apache Spark : spark. eventLog.dir,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31468716/

相关文章:

java - 获取Java webapp中的所有用户和角色

java - 如何在 Netbeans 上定义 jRadioButton 的标签位置?

python - 如何使用 PySpark 将变量参数传递给 Spark Dataframe?

java - Kryo 序列化程序在底层 Scala 类 WrappedArray 上导致异常

java - 如何增加 ExtentReports 4.0.9 中屏幕截图缩略图的大小

java - 如何将ArrayList中的元素分组并分成三个List

c++ - 在哪里放置要与 Windows 用户的桌面设置一起漫游的用户数据文件?

windows - 防止pydub打开控制台窗口

c++ - 如何在 win32 上刷新 stdlib 输出文件?

python - 查找 PySpark 中两个数据帧之间的更改