java - hive 中的python udf

Question

我想在python中编写配置单元udf来解析名称列(使用https://pypi.python.org/pypi/nameparser)，并将解析后的值放在表的不同列中(标题，第一，中间，最后，后缀，昵称)。

我是python的新手，我这样写了python代码

#!/usr/bin/python
import sys
from nameparser import HumanName
name = HumanName(name)
return name.title

而在 hive 中我就是这样

add file title.py;
SELECT TRANSFORM (name) using 'title.py' AS (title STRING) from emp2;

但正在获取org.apache.hadoop.hive.ql.metadata.HiveException。

Answer 1

在select语句using子句中，您需要指定' python title.py'而不是title.py。

add file title.py;
SELECT TRANSFORM (name) using 'python title.py' AS (title STRING) from emp2;