我的目标
我正在尝试使用AWS's JDBC Driver允许运行 Node 6.10 的 Lambda 函数连接到 AWS Athena 并创建数据库。 (我还希望能够创建和查询该数据库内的表)。
我尝试过的
我已尝试使用 similar question 的答案中的以下代码:
var JDBC = require('jdbc');
var jinst = require('jdbc/lib/jinst');
if (!jinst.isJvmCreated()) {
jinst.addOption("-Xrs");
jinst.setupClasspath(['./AthenaJDBC41-*.jar']);
}
var config = {
// Required
url: 'jdbc:awsathena://athena.us-east-1.amazonaws.com:443',
// Optional
drivername: 'com.amazonaws.athena.jdbc.AthenaDriver',
minpoolsize: 10,
maxpoolsize: 100,
properties: {
s3_staging_dir: 's3://aws-athena-query-results-*/',
log_path: '/logs/athenajdbc.log',
user: 'access_key',
password: 'secret_key'
}
};
var hsqldb = new JDBC(config);
hsqldb.initialize(function(err) {
if (err) {
console.log(err);
}
});
我看到的错误
当我在自己的计算机(Mac OSX El Capitan 10.11.6)上运行此程序时,我看到弹出窗口如下图所示,其中消息不存在 Java 运行时,请求安装。
打印到我的控制台。
当我将代码部署到 Lambda 并在那里运行时,它失败并显示以下消息:
错误:/var/task/node_modules/java/build/Release/nodejavabridge_bindings.node:无效的 ELF header
在本地运行时,我可以看到 var hsqldb = new JDBC(config);
行失败,但是在 Lambda 上运行时,在需要 JDBC 时立即发生错误(第一行上面的代码)。
更新
无效的 ELF header
问题似乎表明 node_modules/java/build/Release/nodejavabridge_bindings.node
文件是为与以下版本不兼容的架构编译的:运行 AWS Lambda 的版本 (Linux x64)。
这解释了本地运行与在 Lambda 上运行时的行为差异。
我尝试过使用node-gyp专门针对 x64 架构编译资源,发现问题发生变化但未解决。
我成功运行的node-gyp命令是node-gyp configure --arch=x64
(在node_modules/java/
目录内运行)
在 Lambda 上运行时,我们不再看到无效的 ELF header
错误,而是看到模块初始化错误
(请参阅下面的日志)
module initialization error: Error
at Module.load (module.js:487:32)
at tryModuleLoad (module.js:446:12)
at Function.Module._load (module.js:438:3)
at Module.require (module.js:497:17)
at require (internal/module.js:20:19)
at Object.<anonymous> (/var/task/node_modules/java/lib/nodeJavaBridge.js:21:16)
at Module._compile (module.js:570:32)
at Object.Module._extensions..js (module.js:579:10)
最佳答案
您在这里描述了几个问题。
首先是 MacOS 中缺少 JVM。这是 node-java 中记录的错误。此链接描述了该问题的解决方法。
https://github.com/joeferner/node-java/issues/90#issuecomment-45613235
应用该命令并更改“setupClasspath”语句后,您的示例应该可以在本地运行。
jinst.setupClasspath(['./AthenaJDBC41-1.0.1.jar']);
对于 ELF 问题,您无法在 MacOS 中为 Node 构建 Linux 原生模块。由于 npm 不分发预构建版本,因此您只能在目标等效计算机上构建可部署版本。
这意味着您需要在 Linux AMI(最好是 Lambda AMI)上安装/打包模块。
这里有一篇关于如何执行此操作的 AWS 博客文章:
https://aws.amazon.com/blogs/compute/nodejs-packages-in-lambda/
使用的 AMI 版本:
http://docs.aws.amazon.com/lambda/latest/dg/current-supported-versions.html
关于node.js - 使用 Node Lambda 通过 JDBC 连接到 AWS Athena 时遇到问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43565037/