AWS Glue 4.0 中缺失 awsgluedq 模块的解决方案-Python教程-PHP中文网

AWS Glue 4.0 中缺失 awsgluedq 模块的解决方案

AWS Glue 4.0 官方镜像（glue_libs_4.0.0_image_01）目前不包含 awsgluedq 模块，导致 ImportError: No module named 'awsgluedq'，官方已确认该问题；推荐降级至 Glue 3.x 镜像以正常使用数据质量评估功能。

aws glue 4.0 官方镜像（glue_libs_4.0.0_image_01）目前不包含 `awsgluedq` 模块，导致 `importerror: no module named 'awsgluedq'`，官方已确认该问题；推荐降级至 glue 3.x 镜像以正常使用数据质量评估功能。

在 AWS Glue 脚本中使用 EvaluateDataQuality 等数据质量（DQ）功能时，需导入 awsgluedq.transforms 模块。虽然 AWS 文档指出 Glue 3.0+ 即支持 Data Quality 功能，但实际镜像实现存在版本脱节：Glue 4.0 的官方 Docker 镜像（如 amazon/aws-glue-libs:glue_libs_4.0.0_image_01-arm64）并未打包 awsgluedq 库——该问题已在 aws-glue-libs GitHub Issue #200 中被正式确认。

✅ 正确解决方案是切换至 Glue 3.x 兼容镜像，例如：

# 推荐使用 Glue 3.0 最新稳定镜像（x86_64 架构）
docker run -it \
  -v ~/.aws:/home/glue_user/.aws \
  -v $WORKSPACE_LOCATION:/home/glue_user/workspace/ \
  -e AWS_PROFILE=$PROFILE_NAME \
  -e DISABLE_SSL=true \
  --rm -p 4040:4040 -p 18080:18080 \
  --name glue_spark_submit \
  amazon/aws-glue-libs:glue_libs_3.0.0_image_01 \
  spark-submit /home/glue_user/workspace/src/$SCRIPT_FILE_NAME

⚠️ 注意事项：

awsgluedq 模块仅随 Glue 3.x 运行时一同发布，Glue 4.0+ 目前尚未在 aws-glue-libs 镜像中提供对应支持（截至 2024 年中）；

若必须使用 Glue 4.0，暂无法通过标准镜像调用 EvaluateDataQuality；可考虑改用 Spark SQL + 自定义规则实现基础 DQ 校验，或等待 AWS 后续镜像更新；

使用 Glue 3.x 镜像时，请确保脚本兼容性（如 GlueContext、Job API 在 3.x 和 4.x 间基本一致，无重大 breaking change）；

ARM64 用户请选用 glue_libs_3.0.0_image_01-arm64（如有提供），否则优先选择 x86_64 镜像以保证生态完整性。