更新:好的,事实证明下面的方法不起作用是因为我使用的是较新版本的 InputFormat
API ( import org.apache.hadoop.mapred
是旧的,import org.apache.hadoop.mapreduce
是新的)。我遇到的问题是将现有代码移植到新代码。有没有人有使用旧 API 编写多行 InputFormat
的经验?
尝试使用 Hadoop/Hive 处理 Omniture 的数据日志文件。文件格式是制表符分隔的,虽然在大多数情况下非常简单,但它们确实允许您在一个字段中有多个换行符和制表符,这些换行符和制表符由反斜杠转义(\\n
和 \\t
).因此,我选择创建自己的 InputFormat 来处理多个换行符,并在 Hive 尝试对选项卡进行拆分时将这些选项卡转换为空格。我刚刚尝试将一些示例数据加载到 Hive 中的表中,但出现以下错误:
CREATE TABLE (...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS INPUTFORMAT 'OmnitureDataFileInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat';
FAILED: Error in semantic analysis: line 1:14 Input Format must implement InputFormat omniture_hit_data
奇怪的是我的输入格式确实扩展了 org.apache.hadoop.mapreduce.lib.input.TextInputFormat
( https://gist.github.com/4a380409cd1497602906 )。
Hive 是否需要您改为扩展 org.apache.hadoop.hive.ql.io.HiveInputFormat
?如果是这样,我是否必须为 InputFormat 和 RecordReader 重写任何现有的类代码,或者我是否可以有效地只更改它扩展的类?
最佳答案
在查看了 LineReader 和 TextInputFormat 的代码后发现了这一点。创建了一个新的 InputFormat 和一个 EscapedLineReader 来处理这个问题。
关于hadoop - 使用 Hive 自定义输入格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7692994/