hive - pyhs2/hive 没有文件匹配路径文件和文件存在

Question

使用 hive 或 beeline 客户端，我执行此语句没有问题:

hive -e "LOAD DATA LOCAL INPATH '/tmp/tmpBKe_Mc' INTO TABLE unit_test_hs2"

文件中的数据已成功加载到 hive 中。

但是，在同一台机器上使用 pyhs2 时，找不到该文件:

import pyhs2
conn_str = {'authMechanism':'NOSASL', 'host':'azus',}
conn = pyhs2.connect(conn_str)
with conn.cursor() as cur:
    cur.execute("LOAD DATA LOCAL INPATH '/tmp/tmpBKe_Mc' INTO TABLE unit_test_hs2")

抛出异常:

Traceback (most recent call last):
  File "data_access/hs2.py", line 38, in write
    cur.execute("LOAD DATA LOCAL INPATH '%s' INTO TABLE %s" % (csv_file.name, table_name))
  File "/edge/1/anaconda/lib/python2.7/site-packages/pyhs2/cursor.py", line 63, in execute
    raise Pyhs2Exception(res.status.errorCode, res.status.errorMessage)
pyhs2.error.Pyhs2Exception: "Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path ''/tmp/tmpBKe_Mc'': No files matching path file:/tmp/tmpBKe_Mc"

我已经看到有关此问题的类似问题，通常的答案是查询在不同的服务器上运行，该服务器上没有存储本地文件“/tmp/tmpBKe_Mc”。但是，如果是这样，为什么直接从 CLI 运行命令会起作用，但使用 pyhs2 不起作用？

(第二个问题:如何显示哪个服务器正在尝试处理查询？我试过 cur.execute("set")，它返回所有配置参数，但是当 grepping 为“host”时，返回的参数似乎没有包含一个真实的主机名。)

谢谢!

Answer 1

发生这种情况是因为 pyhs2 试图在集群上查找文件

解决方案是将您的源保存在相关的 hdfs 位置而不是/tmp