java - Apache 钻机 : How to resolve - RESOURCE ERROR: One or more nodes ran out of memory while executing the query?

Question

我正在使用Apache Drill版本1.14上windows系统并使用以下命令运行 Drill:

sqlline.bat -u "jdbc:drill:zk=local"

我正在尝试execute一个join query两个compressed和archived CSV文件。

查询:

SELECT  *  FROM dfs.`C:\Users\admin\Desktop\DRILL_FILES\csvFileParquet\TBL_MOREDATA-20180924181406.tar.gz` AS Table0 INNER JOIN dfs.`C:\Users\admin\Desktop\DRILL_FILES\csvFileParquet\TBL_MOREDATA1-20180924181406.tar.gz` AS Table1  ON  Table0.columns[0]=Table1.columns[0]

但是内存不足，发生错误:

org.apache.drill.common.exceptions.UserRemoteException: RESOURCE ERROR: One or more nodes ran out of memory while executing the query. Unable to allocate buffer of size 131072 (rounded from 86104) due to memory limit (630194176). Current allocation: 630108434 Fragment 0:0 [Error Id: 585c0644-5fd5-446e-b9b3-d48e0771eb2a on DESKTOP-SM3E3KM:31010]

为了解决该问题，我尝试更新 config\drill-env.sh文件，但问题仍然相同，看起来更新脚本文件没有反射(reflect)更改，因为我试图在每次钻头和平启动时将直接内存增加到系统内存(RAM)之外。甚至没有提示您超出了内存，因此，看起来更改没有反射(reflect)。

export DRILLBIT_MAX_PROC_MEM=12G
export DRILL_HEAP=2G
export DRILL_MAX_DIRECT_MEMORY=10G

而我的系统主内存只有 8 GB。

请帮助我解决内存不足错误。我什至运行了以下查询，以便遵循故障排除说明，但问题仍然相同。

alter session set `planner.enable_hashagg` = false;  
alter session set `planner.enable_hashjoin` = false;
alter session set planner.width.max_per_node=3; 
alter system set planner.width.max_per_query = 100;

Answer 1

基于doc Drill仅支持压缩文件读取，不支持存档。您可以创建 Jira 票证来实现它。 如果读取存档的压缩 CSV 文件，Drill 将返回第一行不可读的数据。因此您可以使用offset 1。

Drill 利用直接内存来存储批处理。所以JOIN操作需要更多的直接内存。 减少并行性可以减少内存消耗:
将planner.width.max_per_node(以及可选的planner.width.max_per_query)设置为1。
禁用 HashJoin 运算符使用:planner.enable_hashjoin。
查看更多Drill documentation.
另请考虑启用planner.memory.enable_memory_estimation选项。

要验证是否应用了 drill-env.sh 中的配置，请运行以下查询:

select * from sys.memory;