从 GitHub CSV 文件中提取并解析非标准 JSON 格式的时区数据

夏芳小哥_6726

夏芳小哥_6726

2026-03-21

400人浏览

原创

从 GitHub CSV 文件中提取并解析非标准 JSON 格式的时区数据

本文详解如何从 GitHub 开源的 countries.csv 文件中准确提取第 14 列(timezones)的非标准 JSON 字符串,通过正则与字符串预处理将其修复为合法 JSON,再批量解析为结构化时区对象数组。

本文详解如何从 github 开源的 `countries.csv` 文件中准确提取第 14 列(timezones)的非标准 json 字符串,通过正则与字符串预处理将其修复为合法 json,再批量解析为结构化时区对象数组。

在实际开发中,我们常需从公开数据集(如 dr5hn/countries-states-cities-database)获取地理元数据。其中 countries.csv 的第 14 列 timezones 存储了以类 JSON 形式表示的多个时区信息,但其格式并非合法 JSON:字段名无引号(如 zoneName)、字符串值使用单引号(如 'Asia -> Kabul')、且整体被包裹在方括号内(如 [{'zoneName':...}, {'zoneName':...}])。直接调用 json_decode() 会失败,必须先进行标准化转换。

✅ 正确处理流程

  1. 下载并读取 CSV 文件(推荐远程流式读取,避免本地文件依赖)
  2. 跳过表头,逐行解析第 14 列(索引 13)
  3. 对原始字符串执行三步清洗:
    • 将单引号 ' 替换为双引号 "(适用于无嵌套单引号的场景)
    • 为无引号的键名(如 zoneName, gmtOffset)添加双引号
    • 确保首尾为合法 JSON 数组格式(如补全缺失的 [ 和 ])

以下为 Laravel 控制器中可直接复用的核心实现:

public function timezone(): array
{
    $csvUrl = 'https://raw.githubusercontent.com/dr5hn/countries-states-cities-database/master/csv/countries.csv';
    $timezones = [];

    // 使用 file() 直接读取远程 CSV(生产环境建议加缓存或本地备份)
    $lines = file($csvUrl, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
    if (!$lines) {
        throw new RuntimeException('Failed to fetch countries.csv from GitHub');
    }

    // 跳过表头(第 0 行)
    for ($i = 1; $i fixJson($rawTimezones);
        $decoded = json_decode($fixedJson, true);

        if (json_last_error() === JSON_ERROR_NONE && is_array($decoded)) {
            foreach ($decoded as $tz) {
                if (is_array($tz) && isset($tz['zoneName'], $tz['gmtOffset'])) {
                    $timezones[] = $tz;
                }
            }
        }
    }

    // 去重(基于 zoneName + gmtOffset 组合,避免重复时区)
    $uniqueTimezones = [];
    $seen = [];
    foreach ($timezones as $tz) {
        $key = $tz['zoneName'] . '|' . $tz['gmtOffset'];
        if (!isset($seen[$key])) {
            $seen[$key] = true;
            $uniqueTimezones[] = $tz;
        }
    }

    return $uniqueTimezones;
}

private function fixJson(string $str): string
{
    // Step 1: 单引号 → 双引号(仅当不破坏内部转义时安全,本数据集无嵌套单引号)
    $str = str_replace("'", '"', $str);

    // Step 2: 为 unquoted keys 添加双引号,匹配形如 `key:` 或 `,key:` 的模式
    // 使用正则:(?<h3>⚠️ 关键注意事项</h3>
  • 安全性提醒:str_replace("'", '"') 在数据含撇号(如 O'Neil)时会出错。本数据集的 zoneName、tzName 等字段不含单引号,故可安全使用;若未来数据变更,应改用更鲁棒的解析器(如自定义 tokenizer)。
  • 性能优化:file() 会将整个 CSV 加载到内存。对于大文件,建议改用 fopen() + fgetcsv() 流式处理。
  • 错误处理:务必检查 json_last_error(),避免静默失败;对空/无效字段做 isset() 和 trim() 防御。
  • 去重逻辑:同一时区(如 Europe -> Berlin)可能在多国记录中重复出现,按 zoneName + gmtOffset 去重比单纯 array_unique() 更精准。

✅ 输出示例(片段)

调用 $this->timezone() 后,你将得到如下结构化的 PHP 数组(可直接 json_encode() 输出为 API 响应):

Expanso yaml-to-json
Expanso yaml-to-json

使用 Expanso Edge 管道将 YAML 输入转换为 JSON 格式。

下载
[
  {
    "zoneName": "Asia -> Kabul",
    "gmtOffset": 16200,
    "gmtOffsetName": "UTC+04:30",
    "abbreviation": "AFT",
    "tzName": "Afghanistan Time"
  },
  {
    "zoneName": "Europe -> Tirane",
    "gmtOffset": 3600,
    "gmtOffsetName": "UTC+01:00",
    "abbreviation": "CET",
    "tzName": "Central European Time"
  }
]

该方案兼顾准确性、可维护性与 Laravel 生态兼容性,适用于国际化应用的时区初始化、下拉筛选等典型场景。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

12864

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

7381

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

2255

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

4648

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

5374

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

4231

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

6137

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

4822

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

12562

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程