我想使用 PIG 读取 CSV 文件,我该怎么办?我使用了 load n pigstorage(',') 但它无法正确读取 CSV 文件,因为它在数据中遇到逗号 (,) 时会将其分割。如果数据中也有逗号,我现在应该如何给出 delimeter ?
最佳答案
通常无法区分数据中的逗号和作为分隔符的逗号。 您需要转义“数据”中的逗号以及可以识别转义逗号的自定义加载函数(对于 Pig)。
看这里:
http://ofps.oreilly.com/titles/9781449302641/load_and_store_funcs.html
http://pig.apache.org/docs/r0.7.0/udf.html#Load%2FStore+Functions
关于hadoop - 读取 PIG 中的文件,其中 delemeter 包含数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9126887/