如何将 AWS Glue 爬网程序与 Amazon Athena 结合使用
- Christopher Nolan转载
- 2024-10-22 10:33:36963浏览
作为一名数据专业人员，您需要处理来自各个领域的大量数据 各种来源。这可以使数据管理和分析成为 挑战。幸运的是，两项 AWS 服务可以提供帮助：AWS Glue 和 Amazon 雅典娜。
当您集成这些服务时，您就释放了 AWS 生态系统中的数据发现、编目和查询。让我们 了解他们如何简化您的数据分析工作流程。
什么是 AWS Glue？
AWS Glue 是一种无服务器托管服务，可让您发现、准备、 移动和集成来自多个来源的数据。作为数据集成 服务，AWS Glue 让您能够集中管理数据 位置，而无需管理基础设施。
什么是 AWS Glue 爬网程序？
Glue爬虫是扫描数据的自动化数据发现工具 自动对其中的数据进行分类、分组和编目。 然后，它会在您的 AWS Glue 数据中创建新表或更新现有表 目录。
什么是 Glue 数据目录？
AWS Glue 数据目录是数据位置的索引， 架构和运行时指标。您需要此信息来创建和 监控您的提取、转换和加载 (ETL) 作业。
为什么使用 Amazon Athena 和 AWS Glue？
现在我们已经介绍了Amazon Athena、AWS Glue 和 AWS 的基础知识 胶水爬虫，让我们更深入地讨论一下它们。
4 个主要 Amazon Athena 使用案例
Amazon Athena 提供了一种简化、灵活的分析方法 PB 级数据就在它们所在的地方。例如，Athena 可以分析 从 Amazon Simple Storage Service (S3) 获取数据或构建应用程序 数据湖和 30 个数据源，包括本地数据源或 使用 SQL 或 Python 的其他云系统。
Amazon Athena 有四种主要用例：
在 S3、本地数据中心或其他云上运行查询
为机器学习模型准备数据
在 SQL 查询或 Python 中使用机器学习模型 简化复杂的任务，例如异常检测、客户群体 分析和销售预测
执行多云分析（例如在 Azure 中查询数据） Synapse Analytics，然后通过 Amazon 将结果可视化 QuickSight)
3 个关键 AWS Glue 使用案例
现在我们已经介绍了 Amazon Athena，接下来我们来谈谈 AWS Glue。您可以使用 AWS Glue 执行一些不同的操作。
首先，您可以使用 AWS Glue 数据集成引擎，它允许您 从几个不同的来源获取数据。这包括亚马逊 S3、 Amazon DynamoDB 和 Amazon RDS 以及在 Amazon 上运行的数据库 EC2（与 AWS Glue 工作室集成）和 AWS Glue for Ray、Python 壳牌和阿帕奇火花。
一旦数据被连接和过滤，它就可以与 加载或创建数据的位置，此列表扩展为包含来自以下位置的数据 Amazon Redshift、数据湖和数据仓库等地方。
您还可以使用 AWS Glue 运行 ETL 作业。这些工作可以让你 隔离客户数据，保护传输中和现场的客户数据 休息，仅在响应客户需要时访问客户数据 请求。当配置 ETL 作业时，您需要做的就是提供 虚拟专用中的输入数据源和输出数据目标 云。
使用 AWS Glue 的最后一种方法是通过数据目录 快速发现和搜索多个 AWS 数据集，而无需移动 数据。数据编目后，可立即用于搜索 并使用 Amazon Athena、Amazon EMR 和 Amazon Redshift 进行查询 频谱。
AWS Glue 入门：如何将数据从 AWS Glue 获取到 Amazon Athena
那么，如何将数据从 AWS Glue 获取到 Amazon Athena 中？请按照以下步骤操作：
首先将数据上传到数据源。最受欢迎的 选项是 S3 存储桶，但 DynamoDB 表和 Amazon RedShift 也是 选项。
选择您的数据源并创建一个分类器，如果 必要的。分类器读取数据并生成模式（如果满足） 识别格式。您可以创建自定义分类器来查看 不同的数据类型。
创建一个爬虫。
设置爬网程序的名称，然后选择您的数据源 并添加任何自定义分类器以确保 AWS Glue 识别 数据正确。
设置身份和访问管理 (IAM) 角色以确保爬网程序可以正确运行流程。
创建将保存数据集的数据库。设置爬网程序的运行时间和频率，以使您的数据保持最新状态。
运行爬网程序。此过程可能需要一段时间，具体取决于 数据集有多大。爬虫成功运行后，您将 查看数据库中表的更改。
现在您已经完成了此过程，您可以跳转到 Amazon Athena 并运行您需要的查询来过滤数据并获取 您正在寻找的结果。
以上是如何将 AWS Glue 爬网程序与 Amazon Athena 结合使用的详细内容。更多信息请关注PHP中文网其他相关文章！