java - Spark App 参数编码

标签 java apache-spark hadoop encoding hdfs

Spark 似乎为应用程序参数使用了平台编码参数,但具体是哪一个呢?

我用这样的参数启动一个 spark 应用程序:

final List<String> params = createParamList(...)
sparkLauncher.addAppArgs(params.toArray(new String[params.size()]));

似乎是平台相关的,在某些平台上,编码是错误的:

INFOS:   childArgs               [ [...] ---user=Syst??me]

用户应该是“Système”

我尝试将 java opts file.encoding 参数设置为驱动程序和执行程序,但我没有更改任何内容。

有没有人有想法?

谢谢

最佳答案

可能是tomcat启动时LANG环境变量设置不正确造成的。

你能在你的 Spark 提交之前执行 System.getenv("LANG"); 吗?

关于java - Spark App 参数编码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50924793/

相关文章:

hadoop - 更改包含数据的 Hive 外部表中的列名

hadoop - 插入分桶表产生空表

java - Spring-boot thymeleaf 从类路径加载 HTML 文件

java - Android 对话框 wrap_content 不工作

java - Android 从数据库获取数据到编辑 TextView 时遇到问题

regex - 在 Pyspark 中使用正则表达式函数计算日期

scala - Spark分区比没有它慢得多

apache-spark - PHOENIX SPARK - 用于 BulkLoad 的 DataFrame

java - 在 MapReduce 程序中,reducer 没有被 Driver 调用

java - 使用java中的Prepared Statement将用户IP地址插入MySql表