python - AWS Lambda 不导入 LXML

Question

我尝试在 AWS Lambda 中使用 LXML 模块，但没有成功。我使用以下命令下载了 LXML:

pip install lxml -t folder

将其下载到我的 lambda 函数部署包中。我像处理所有其他 lambda 函数一样压缩了我的 lambda 函数的内容，并将其上传到 AWS Lambda。

但是无论我尝试什么，在运行该函数时都会出现此错误:

Unable to import module 'handler': /var/task/lxml/etree.so: undefined symbol: PyFPE_jbuf

当我在本地运行它时，我没有遇到任何问题，只是当我在 Lambda 上运行时出现了这个问题。

Answer 1

我遇到了同样的问题。

Raphaël Braud 发布的链接很有帮助，这个也是: https://nervous.io/python/aws/lambda/2016/02/17/scipy-pandas-lambda/

使用这两个链接，我能够成功导入 lxml 和其他所需的包。以下是我遵循的步骤:

• 使用 Amazon Linux ami 启动 ec2 机器

• 运行以下脚本来积累依赖:

  set -e -o pipefail
  sudo yum -y upgrade
  sudo yum -y install gcc python-devel libxml2-devel libxslt-devel
  
  virtualenv ~/env && cd ~/env && source bin/activate
  pip install lxml
  for dir in lib64/python2.7/site-packages \
       lib/python2.7/site-packages
  do
  if [ -d $dir ] ; then
     pushd $dir; zip -r ~/deps.zip .; popd
  fi
  done  
  mkdir -p local/lib
  cp /usr/lib64/ #list of required .so files
  local/lib/
  zip -r ~/deps.zip local/lib
  

• 按照 link 中的规定创建处理程序和工作程序文件.示例文件内容:

处理程序.py

import os
import subprocess


libdir = os.path.join(os.getcwd(), 'local', 'lib')

def handler(event, context):
    command = 'LD_LIBRARY_PATH={} python worker.py '.format(libdir)
    output = subprocess.check_output(command, shell=True)

    print output

    return

worker.py:

import lxml

def sample_function( input_string = None):
    return "lxml import successful!"

if __name__ == "__main__":
    result = sample_function()
    print result

• 将处理程序和工作程序添加到 zip 文件。

经过上述步骤后，zip 文件的结构如下:

deps 
├── handler.py
├── worker.py 
├── local
│   └── lib
│       ├── libanl.so
│       ├── libBrokenLocale.so
|       ....
├── lxml
│   ├── builder.py
│   ├── builder.pyc
|       ....
├── <other python packages>

• 确保您在创建 lambda 函数时指定了正确的处理程序名称。在上面的例子中，它将是 - “handler.handler”

希望这对您有所帮助!