hadoop - 运行配置单元查询时收到以下错误。可能是什么原因造成的?

标签 hadoop hive hiveql hadoop-partitioning

java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Map 1, vertexId=vertex_1538324912862_7122_1_00, diagnostics=[Task failed, taskId=task_1538324912862_7122_1_00_000083, diagnostics=[TaskAttempt 0 failed, info=[Error: Failure while running task:java.lang.RuntimeException: java.lang.RuntimeException: java.io.IOException: java.io.IOException: Too many bytes before newline: 2147483648

最佳答案

表中的某些文件没有换行记录定界符,或者某种程度上不符合表模式(也请检查FIELDS TERMINATED BY,也许在表DDL中指定了错误)。

您可以检查作业跟踪器日志以查找已处理的文件名。
java.io.IOException: Too many bytes before newline: 2147483648异常-这是因为字符串可以具有的最大大小为:2^31-1 = 2147483647

关于hadoop - 运行配置单元查询时收到以下错误。可能是什么原因造成的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52892211/

相关文章:

hadoop - 可以禁用 WebHDFS UI 删除功能吗?

hive - hive 中的退出和退出有什么区别

hadoop - 使用 ORC 文件格式有什么缺点?

mysql - 我不断收到此错误 Error in Hive while compiling statements : FAILED: ParseException line 2:16 mismatched input 'NOT' expecting ) near 'STRING'

hadoop - 使用spark中的SQL解析函数

sql - 删除 HIVE 中的部分字符串

hadoop - 仅在master中安装rhdfs和rmr2是否足够,还是需要在slave中安装这些库?

apache - Hadoop 2.6.4和大文件

algorithm - 通过仅知道开始和结束的集合来估计当前进度

hadoop - 为 HCatalog 配置 HP Vertica 时找不到 hcatUtil