解决AWS Lambda Python运行时Redis模块未找到的问题-Python教程-PHP中文网

解决AWS Lambda Python运行时Redis模块未找到的问题

本文旨在解决aws lambda在使用python运行时无法识别redis模块的常见问题。当lambda函数尝试导入redis等第三方库时，由于这些库并非默认集成，会导致`no module named 'redis'`错误。教程将详细介绍两种主要的解决方案：一是通过创建和使用aws lambda层（layers）来封装和共享redis库，二是直接将redis及其依赖打包到lambda部署包中，确保函数能够成功导入并使用redis。

理解AWS Lambda的依赖管理

AWS Lambda提供了一个轻量级的执行环境，其中预装了Python运行时及其标准库。然而，对于像redis这样的第三方库，Lambda环境默认是不包含的。当您的Python Lambda函数尝试 import redis 时，如果该模块不在执行环境中，就会抛出 Runtime.ImportModuleError: No module named 'redis' 错误。为了解决这个问题，我们需要将所需的第三方库与我们的Lambda函数代码一起部署。AWS提供了两种主要的方法来管理这些依赖项：使用Lambda层（Layers）和直接打包依赖。

解决方案一：使用AWS Lambda层（Layers）

Lambda层是一种分发代码和数据的方式，可以独立于您的函数代码进行管理。它们非常适合共享库、自定义运行时或公共依赖项，尤其是在多个Lambda函数需要相同依赖时，可以提高代码复用性和部署效率。

步骤1：在本地环境准备Redis依赖包

首先，您需要在本地环境中安装Redis库，并将其打包成Lambda层所需的格式。

创建工作目录和虚拟环境：
```
mkdir packages
cd packages
python3 -m venv venv
source venv/bin/activate
```
这里我们创建了一个名为 packages 的目录，并在其中设置了一个Python虚拟环境，以确保安装的依赖是干净且与您的Lambda运行时Python版本兼容。
安装Redis到指定目录： Lambda层要求Python依赖项位于层压缩包根目录下的 python/ 目录中。
```
mkdir python
cd python
pip install redis -t .
```
-t . 参数会将 redis 及其所有依赖项安装到当前目录（即 python/ 目录）下。
清理不必要的文件（可选但推荐）： 为了减小层的大小，可以删除一些不必要的文件，例如 .dist-info 目录。
```
rm -rf *dist-info
```
返回 packages 目录，准备打包。
```
cd ..
```
打包依赖为ZIP文件： 将 python 目录压缩成ZIP文件。这个ZIP文件就是您的Lambda层内容。
```
zip -r requirements-package.zip python
```
现在，您得到了一个名为 requirements-package.zip 的文件，其中包含了Redis库。

步骤2：创建和上传Lambda层

将生成的ZIP文件上传到AWS Lambda。

登录AWS管理控制台，导航到 Lambda 服务。
在左侧导航栏中选择 层 (Layers)。
点击 创建层 (Create layer)。
配置层：
- 名称 (Name): 输入一个描述性的名称，例如 redis-layer。
- 描述 (Description): （可选）提供层的用途说明。
- 上传 (Upload): 选择 上传.zip文件，然后上传您之前创建的 requirements-package.zip 文件。
- 兼容运行时 (Compatible runtimes): 选择与您的Lambda函数相同的Python运行时版本，例如 Python 3.12。
- 兼容架构 (Compatible architectures): 根据您的Lambda函数架构选择，通常是 x86_64。
点击 创建 (Create)。

步骤3：将层附加到Lambda函数

最后一步是将新创建的层添加到您的Lambda函数中。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

导航回您的Lambda函数。
在函数配置页面，向下滚动到 层 (Layers) 部分。
点击 添加层 (Add layer)。
选择 自定义层 (Custom layers)。
从下拉列表中选择您刚刚创建的 redis-layer 及其版本。
点击 添加 (Add)。

现在，您的Lambda函数应该能够成功导入 redis 模块了。

解决方案二：直接打包依赖到函数部署包

如果您只有一个Lambda函数需要某个特定的依赖，或者您更倾向于将所有代码和依赖项作为一个整体进行管理，那么直接将依赖项打包到函数部署包中是一个更简单快捷的方法。

步骤1：在项目目录中安装依赖

导航到您的Lambda项目根目录。 确保您的 lambda_function.py (或其他入口文件) 在此目录中。
创建 requirements.txt 文件： 在项目根目录中创建一个名为 requirements.txt 的文件，并列出所有必要的依赖项。
```
# requirements.txt
redis
```
安装依赖到当前目录： 使用 pip 将 requirements.txt 中列出的所有依赖项安装到当前项目目录中。
```
pip install -r requirements.txt -t .
```
-t . 参数会将所有依赖项安装到当前目录，与您的Lambda函数代码放在一起。

步骤2：打包整个项目为ZIP文件

将您的Lambda函数代码和所有安装的依赖项一起压缩成一个ZIP文件。

zip -r myfunction.zip .

这个命令会将当前目录下的所有文件和子目录（包括您的 lambda_function.py 和 redis 库文件）打包到 myfunction.zip 中。

步骤3：上传ZIP文件到Lambda函数

登录AWS管理控制台，导航到 Lambda 服务。
选择您的Lambda函数。
在 代码源 (Code source) 部分，点击 上传 (Upload from)，然后选择 .zip文件。
上传您之前创建的 myfunction.zip 文件。
点击 保存 (Save)。

您的Lambda函数现在应该能够正常运行并使用Redis模块。

总结与注意事项

Lambda层 (Layers) vs. 直接打包：
- Lambda层 适用于多个函数共享相同依赖，有助于减小每个函数部署包的大小，并简化依赖更新。当依赖包较大或需要频繁更新时，层是更优的选择。
- 直接打包 适用于单个函数或依赖项较少的情况，部署过程相对简单直接。
Python版本兼容性： 无论是创建层还是直接打包，务必确保您在本地安装依赖时使用的Python版本与Lambda函数的运行时版本完全一致。版本不匹配可能导致运行时错误。
包大小限制： Lambda层和函数部署包都有大小限制。确保您的依赖项不会超出这些限制（未压缩大小通常为250MB）。
安全性： 始终从可信源安装依赖项，并定期更新以获取安全补丁。