如何通过 R 自动化提取 DEOS 气象站点的逐日观测数据(含站点与日期参数)

秋丽姑娘_9960

秋丽姑娘_9960

2026-11-16

333人浏览

原创

如何通过 R 自动化提取 DEOS 气象站点的逐日观测数据(含站点与日期参数)

本文介绍如何利用 R 的 rvest 和 glue 包,通过构造目标 URL 直接获取美国特拉华州环境观测系统(DEOS)网站的逐日气象数据,无需模拟表单提交或处理弹窗,支持批量下载多日、多站数据。

本文介绍如何利用 r 的 `rvest` 和 `glue` 包,通过构造目标 url 直接获取美国特拉华州环境观测系统(deos)网站的逐日气象数据,无需模拟表单提交或处理弹窗,支持批量下载多日、多站数据。

DEOS 官网(https://www.php.cn/link/c12eea7b764a37778affe67c805b8e11)虽以交互式表单呈现数据选择界面,但其背后实际采用基于 URL 参数的 GET 请求返回结果——这意味着你完全不必使用 rvest 模拟点击或填写下拉菜单,也无需处理 JavaScript 弹窗。关键在于识别并复用其真实数据接口地址。

经分析,该站点的每日数据由独立页面 station_daily.php 提供,所有必要参数均通过 URL 查询字符串(query string)传递。典型结构如下:

https://deos.udel.edu/odd-divas/station_daily.php?network=DEOS&station=DTBR&month=8&day=2&year=2024

其中:

  • network: 观测网络名称(如 "DEOS")
  • station: 站点代码(如 "DTBR",对应 Adamsville, DE-Taber)
  • month, day, year: 三位日期参数(注意:month 为数字 1–12,非英文名)

✅ 因此,rvest 完全可行且高效——只需动态生成 URL 并用 read_html() + html_table() 解析即可,无需复杂会话管理或 DOM 操作。

✅ 基础示例:单日单站数据提取

library(rvest)
library(glue)

# 定义参数
network 
  read_html() |>
  html_table(header = TRUE)

# 查看结构(通常包含5个表格:站点信息、小时数据、日统计、备注、版权)
str(tables, max.level = 1)

输出中 tables[[2]] 即为关键的逐小时观测数据表(含温度、露点、湿度、风速等),tables[[3]] 为日统计汇总(最高/最低/平均温、降水等)。列名含换行符(如 "Temp\n(°F)"),建议后续用 janitor::clean_names() 或 stringr::str_replace_all() 标准化。

⚙️ 批量提取:一年内某站点的全部日数据

为获取某站点整年(如 2024 年)的逐日数据,推荐使用 purrr::map_dfr() 配合日期序列,避免 for 循环副作用,并自动合并结果:

library(purrr)
library(lubridate)

# 生成2024全年日期向量(注意:DEOS部分日期可能无数据,需容错)
date_seq 
      read_html() |>
      html_table(header = TRUE)

    # 提取日统计表(第3张表),添加日期标识
    if (length(tables) >= 3 && nrow(tables[[3]]) > 0) {
      tables[[3]] |>
        mutate(date = as.Date(paste(y, m, d, sep = "-"))) |>
        select(date, everything())
    } else {
      tibble(date = as.Date(paste(y, m, d, sep = "-")), status = "no_data")
    }
  }, error = function(e) {
    tibble(date = as.Date(paste(y, m, d, sep = "-")), status = "error", error_msg = as.character(e))
  })
}

# 并行抓取(可选,注意遵守 robots.txt 与速率限制)
daily_summary 
  map_dfr(fetch_daily, .progress = TRUE)

# 查看结果
print(daily_summary)

⚠️ 重要注意事项

  • 遵守网站政策:DEOS 明确提供历史数据 CSV 下载页,优先使用官方渠道(如 almanac 页面导出功能),避免不必要爬取。
  • 请求频率限制:若必须程序化获取,请在每次请求间加入 Sys.sleep(1)(至少 1 秒间隔),防止被限流或封 IP。
  • 数据完整性校验:部分日期可能缺失(如设备维护期),需检查 nrow() 或 status 字段过滤无效响应。
  • 参数有效性:确保 station 代码真实存在(可先从主页面解析 获取完整列表)。
  • 替代方案:对大规模长期数据,建议联系 DEOS 获取 FTP 或 API 接入权限(官网注明提供“bulk data access”支持)。

综上,该任务不仅完全可行,而且比传统表单自动化更简洁、稳定、可扩展——核心在于理解 Web 数据服务的本质是 RESTful 接口调用,而非 UI 交互。掌握此思路,可快速迁移至同类气象、水文、环境监测平台的数据获取场景。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
PHP 命令行脚本与自动化任务开发
PHP 命令行脚本与自动化任务开发

本专题系统讲解 PHP 在命令行环境(CLI)下的开发与应用,内容涵盖 PHP CLI 基础、参数解析、文件与目录操作、日志输出、异常处理,以及与 Linux 定时任务(Cron)的结合使用。通过实战示例,帮助开发者掌握使用 PHP 构建 自动化脚本、批处理工具与后台任务程序 的能力。

2025.12.13

526

14

Figma AI自动化智能数据填充与交互生成实战
Figma AI自动化智能数据填充与交互生成实战

告别机械重复,详细演示如何用 AI 填充业务真实数据,并自动为页面添加交互连线,将静态设计稿快速转变为动态原型。

2026.05.13

365

17

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

100

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

60

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

60

15

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

2026.11.06

140

12

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

2026.11.06

120

13

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

2026.11.06

120

10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

2026.11.05

100

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习