如何将 AI 应用程序（包含大型部门）部署到 AWS Lambda

我最近花了两个小时在 AWS Lambda 上运行一个简单的 LlamaIndex 应用程序。虽然函数本身仅由几行 Python 代码组成（如下所示），但管理依赖项和部署可能很棘手。

import json
from llama_index.llms.openai import OpenAI

llm=OpenAI(model="gpt-4o-mini")

def lambda_handler(event, context):
    response = llm.complete("What public transportation might be available in a city?")
    return {
        'statusCode': 200,
        'body': str(response),
    }

以下是一些对我有帮助的关键提示：

首先，安装适用于正确平台的软件包。安装“manylinux2014_x86_64”目标平台的所有软件包非常重要。否则，某些包可能与 AWS Lambda 运行时不兼容。为了确保兼容性，请使用以下命令安装依赖项：

pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

其次，Lambda 对总代码包大小有 250MB 的限制，如果您使用 LlamaIndex 或其他大型依赖项，这很快就会成为问题。如果您的包超出此限制，请检查依赖项文件夹中最大的文件：

du -h -d 2 | sort -hr | head -n20

就我而言，我发现 pandas/tests 目录占用了大约 35MB 的空间，这对于我的功能来说是不必要的，因此我删除了它以使包大小回到限制范围内。

rm -r deps/pandas/tests

然后，压缩所有内容并通过 S3 上传。修剪掉不必要的文件后，创建一个包含代码和依赖项的 zip 存档。由于 Lambda 的 Web 控制台有 50MB 的上传限制，因此您需要将较大的 zip 文件上传到 S3 存储桶并使用 S3 URI 来部署该函数。

zip -r test_lambda.zip data/ lambda_function.py
cd deps/
zip -r ../test_lambda.zip .

最后，在部署之前调整您的 Lambda 设置。默认情况下，Lambda 函数仅分配 128MB 内存和 3 秒超时，这对于许多涉及大量依赖项和调用 LLM 的 AI 应用程序来说是不够的。我会将内存增加到 512MB，并将超时时间延长到 30 秒。此外，不要忘记设置必要的环境变量，例如 OpenAI API 密钥。

我花了好几次尝试才找到为 Lambda 安装软件包并将所有内容捆绑在一起的正确方法。 AWS Lambda 对于基本脚本来说是用户友好的，但是一旦添加更大的依赖项，事情就会变得更加复杂。

这是最终的步骤序列：

# Install dependencies
pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

# Create a zip file for code and data
zip -r test_lambda.zip data/ lambda_function.py

# Include dependencies in the zip file, while removing large unused files
cd deps/
rm -r pandas/tests
zip -r ../test_lambda.zip .

p.s.，我也尝试在 DBOS Cloud 上部署类似的功能，只需要一个命令：

dbos-cloud app deploy

在DBOS中，依赖管理是通过requirements.txt文件自动处理的，环境变量在dbos-config.yaml中设置。我可能有偏见，但我喜欢 DBOS Cloud 部署过程的简单性。

以上是如何将 AI 应用程序（包含大型部门）部署到 AWS Lambda的详细内容。更多信息请关注PHP中文网其他相关文章！