如何将 AWS Glue 爬网程序与 Amazon Athena 结合使用-SQL-PHP中文网

首页

数据库

SQL

如何将 AWS Glue 爬网程序与 Amazon Athena 结合使用

Christopher Nolan

Oct 22, 2024 am 10:33 AM

sql

作为一名数据专业人员，您需要处理来自各个领域的大量数据各种来源。这可以使数据管理和分析成为挑战。幸运的是，两项 AWS 服务可以提供帮助：AWS Glue 和 Amazon 雅典娜。

当您集成这些服务时，您就释放了 AWS 生态系统中的数据发现、编目和查询。让我们了解他们如何简化您的数据分析工作流程。

如何将 AWS Glue 爬网程序与 Amazon Athena 结合使用

什么是 AWS Glue？

AWS Glue 是一种无服务器托管服务，可让您发现、准备、移动和集成来自多个来源的数据。作为数据集成服务，AWS Glue 让您能够集中管理数据位置，而无需管理基础设施。

什么是 AWS Glue 爬网程序？

Glue爬虫是扫描数据的自动化数据发现工具自动对其中的数据进行分类、分组和编目。然后，它会在您的 AWS Glue 数据中创建新表或更新现有表目录。

什么是 Glue 数据目录？

AWS Glue 数据目录是数据位置的索引，架构和运行时指标。您需要此信息来创建和监控您的提取、转换和加载 (ETL) 作业。

为什么使用 Amazon Athena 和 AWS Glue？

现在我们已经介绍了Amazon Athena、AWS Glue 和 AWS 的基础知识胶水爬虫，让我们更深入地讨论一下它们。

4 个主要 Amazon Athena 使用案例

Amazon Athena 提供了一种简化、灵活的分析方法 PB 级数据就在它们所在的地方。例如，Athena 可以分析从 Amazon Simple Storage Service (S3) 获取数据或构建应用程序数据湖和 30 个数据源，包括本地数据源或使用 SQL 或 Python 的其他云系统。

Amazon Athena 有四种主要用例：

在 S3、本地数据中心或其他云上运行查询
为机器学习模型准备数据
在 SQL 查询或 Python 中使用机器学习模型简化复杂的任务，例如异常检测、客户群体分析和销售预测
执行多云分析（例如在 Azure 中查询数据） Synapse Analytics，然后通过 Amazon 将结果可视化 QuickSight)

3 个关键 AWS Glue 使用案例

现在我们已经介绍了 Amazon Athena，接下来我们来谈谈 AWS Glue。您可以使用 AWS Glue 执行一些不同的操作。

首先，您可以使用 AWS Glue 数据集成引擎，它允许您从几个不同的来源获取数据。这包括亚马逊 S3、 Amazon DynamoDB 和 Amazon RDS 以及在 Amazon 上运行的数据库 EC2（与 AWS Glue 工作室集成）和 AWS Glue for Ray、Python 壳牌和阿帕奇火花。

一旦数据被连接和过滤，它就可以与加载或创建数据的位置，此列表扩展为包含来自以下位置的数据 Amazon Redshift、数据湖和数据仓库等地方。

您还可以使用 AWS Glue 运行 ETL 作业。这些工作可以让你隔离客户数据，保护传输中和现场的客户数据休息，仅在响应客户需要时访问客户数据请求。当配置 ETL 作业时，您需要做的就是提供虚拟专用中的输入数据源和输出数据目标云。

使用 AWS Glue 的最后一种方法是通过数据目录快速发现和搜索多个 AWS 数据集，而无需移动数据。数据编目后，可立即用于搜索并使用 Amazon Athena、Amazon EMR 和 Amazon Redshift 进行查询频谱。

AWS Glue 入门：如何将数据从 AWS Glue 获取到 Amazon Athena

那么，如何将数据从 AWS Glue 获取到 Amazon Athena 中？请按照以下步骤操作：

首先将数据上传到数据源。最受欢迎的选项是 S3 存储桶，但 DynamoDB 表和 Amazon RedShift 也是选项。
选择您的数据源并创建一个分类器，如果必要的。分类器读取数据并生成模式（如果满足）识别格式。您可以创建自定义分类器来查看不同的数据类型。
创建一个爬虫。
设置爬网程序的名称，然后选择您的数据源并添加任何自定义分类器以确保 AWS Glue 识别数据正确。
设置身份和访问管理 (IAM) 角色以确保爬网程序可以正确运行流程。
创建将保存数据集的数据库。设置爬网程序的运行时间和频率，以使您的数据保持最新状态。
运行爬网程序。此过程可能需要一段时间，具体取决于数据集有多大。爬虫成功运行后，您将查看数据库中表的更改。

现在您已经完成了此过程，您可以跳转到 Amazon Athena 并运行您需要的查询来过滤数据并获取您正在寻找的结果。

以上是如何将 AWS Glue 爬网程序与 Amazon Athena 结合使用的详细内容。更多信息请关注PHP中文网其他相关文章！

声明

本文转载于：pluralsight.com。如有侵权，请联系admin@php.cn删除

sql怎么删除约束Apr 10, 2025 pm 12:21 PM

在 SQL 中删除约束，请执行以下步骤：识别要删除的约束名称；使用 ALTER TABLE 语句：ALTER TABLE 表名 DROP CONSTRAINT 约束名；确认删除。

sql触发器怎么设置Apr 10, 2025 pm 12:18 PM

SQL 触发器是一种在指定表上执行特定事件时自动执行特定操作的数据库对象。要设置 SQL 触发器，可以使用 CREATE TRIGGER 语句，其中包括触发器名称、表名称、事件类型和触发器代码。触发器代码使用 AS 关键字进行定义，并包含 SQL 或 PL/SQL 语句或块。通过指定触发器条件，可以使用 WHERE 子句限制触发器的执行范围。可以使用 INSERT INTO、UPDATE 或 DELETE 语句在触发器代码中执行触发器操作。NEW 和 OLD 关键字可以在触发器代码中用来引用受影

sql查询怎么加索引Apr 10, 2025 pm 12:15 PM

索引是一种通过排序数据列来加速数据查找的数据结构。为 SQL 查询添加索引的步骤如下：确定需要索引的列。选择合适的索引类型（B 树、哈希或位图）。使用 CREATE INDEX 命令创建索引。定期重建或重新组织索引以维护其效率。添加索引的好处包括提高查询性能、减少 I/O 操作、优化排序和筛选以及提高并发性。当查询经常使用特定列、返回大量数据需要排序或分组、涉及多个表或数据库表较大时，应该考虑添加索引。

sql语句ifelse怎么用Apr 10, 2025 pm 12:12 PM

IFELSE 语句是一种条件语句，用于根据条件评估结果返回不同值。其语法结构为：IF (condition) THEN return_value_if_condition_is_true ELSE return_value_if_condition_is_false END IF;。

sql数据库错误怎么查看Apr 10, 2025 pm 12:09 PM

SQL数据库错误查看方法有：1. 直接查看错误消息；2. 使用SHOW ERRORS和SHOW WARNINGS命令；3. 访问错误日志；4. 使用错误代码查找错误原因；5. 检查数据库连接和查询语法；6. 使用调试工具。

sql distinct怎么用Apr 10, 2025 pm 12:06 PM

DISTINCT 操作符用于 SQL 查询中排除重复行，仅返回唯一值，适用于获取唯一值列表、统计唯一值数量和结合 GROUP BY 使用等场景。

sql候选键怎么设置Apr 10, 2025 pm 12:03 PM

SQL 中设置候选键的方法：确定唯一标识列；使用 PRIMARY KEY 约束创建主键；使用 UNIQUE 约束添加唯一约束；创建唯一索引。设置候选键可以确保数据完整性、提高查询性能和防止数据重复。

sql怎么写更新语句Apr 10, 2025 pm 12:00 PM

SQL 中的 UPDATE 语句用于修改现有记录：语法： UPDATE table_name SET column1 = new_value1, column2 = new_value2, ... WHERE condition用法：指定表名在 SET 子句中列出要更新的列及新值使用 WHERE 子句指定更新条件（可选）

See all articles