从 GitHub CSV 文件中安全提取并解析非标准 JSON 格式的时区数据

夏芳小哥_6726

夏芳小哥_6726

2026-03-21

775人浏览

原创

从 GitHub CSV 文件中安全提取并解析非标准 JSON 格式的时区数据

本文详解如何从 GitHub 上的 countries.csv(含非标准 JSON 字符串的第 14 列)中稳健提取时区信息,通过正则预处理修复 malformed JSON,再批量解析为结构化 PHP 数组。

本文详解如何从 github 上的 `countries.csv`(含非标准 json 字符串的第 14 列)中稳健提取时区信息,通过正则预处理修复 malformed json,再批量解析为结构化 php 数组。

在处理开源地理数据集(如 dr5hn/countries-states-cities-database)时,常会遇到「伪 JSON」字段:例如 countries.csv 的第 14 列(timezones)存储的是类似 '[{zoneName:"Asia -> Kabul",gmtOffset:16200,...}]' 的字符串——键名无引号、单引号混用、缺少外层方括号合法性校验。直接调用 json_decode() 必然失败。本教程提供一套生产就绪的解决方案,兼顾鲁棒性与可维护性。

✅ 核心思路:先清洗,再解析,最后归一化

关键不在强行“硬解”,而在于将不规范的 JS 对象字面量风格字符串,安全转换为合法 JSON 字符串。我们分三步实现:

  1. 修复键名引号缺失(如 zoneName: → "zoneName":)
  2. 统一引号为双引号(' → "),避免单引号嵌套导致的歧义
  3. 确保外层为有效 JSON 容器(如补全缺失的 [ ] 或 { })

以下为优化后的完整控制器逻辑(Laravel 项目中):

JSON Toolkit
JSON Toolkit

JSON文件多功能工具。支持格式化、验证、压缩、键排序及点记法路径查询。零依赖。

下载
public function timezone(): void
{
    $csvPath = __DIR__ . '/countries.csv';
    $timezones = [];

    if (($handle = fopen($csvPath, 'r')) === false) {
        throw new RuntimeException("无法打开 CSV 文件: {$csvPath}");
    }

    // 跳过表头行
    fgetcsv($handle);

    while (($row = fgetcsv($handle)) !== false) {
        if (!isset($row[13])) continue; // 确保至少有 14 列(索引 0~13)

        $rawTimezones = trim($row[13]); // 第14列索引为 13(0-based)
        if (empty($rawTimezones) || $rawTimezones === '[]') continue;

        // 步骤1:修复为合法 JSON 字符串
        $fixedJson = $this->fixJson($rawTimezones);
        // 步骤2:解析为 PHP 数组
        $decoded = json_decode($fixedJson, true);

        if (json_last_error() === JSON_ERROR_NONE && is_array($decoded)) {
            foreach ($decoded as $tz) {
                // 步骤3:标准化字段名(兼容原始数据中的大小写/空格差异)
                $timezones[] = [
                    'zoneName'       => $tz['zoneName'] ?? $tz['zone_name'] ?? null,
                    'gmtOffset'      => (int)($tz['gmtOffset'] ?? $tz['gmt_offset'] ?? 0),
                    'gmtOffsetName'  => $tz['gmtOffsetName'] ?? $tz['gmt_offset_name'] ?? null,
                    'abbreviation'   => $tz['abbreviation'] ?? $tz['abbr'] ?? null,
                    'tzName'         => $tz['tzName'] ?? $tz['tz_name'] ?? null,
                ];
            }
        } else {
            // 可选:记录解析失败的原始行用于调试
            \Log::warning('时区解析失败', ['raw' => $rawTimezones, 'error' => json_last_error_msg()]);
        }
    }

    fclose($handle);

    // 去重(基于 zoneName + gmtOffset 组合,避免同一时区多条重复记录)
    $uniqueTimezones = [];
    $seen = [];
    foreach ($timezones as $tz) {
        $key = $tz['zoneName'] . '|' . $tz['gmtOffset'];
        if (!isset($seen[$key])) {
            $seen[$key] = true;
            $uniqueTimezones[] = $tz;
        }
    }

    // 输出结果(或返回 API 响应)
    $this->printFormattedData($uniqueTimezones);
}

/**
 * 将类 JS 对象字面量字符串修复为合法 JSON 字符串
 * 示例输入: "{zoneName:'Asia -> Kabul',gmtOffset:16200}"
 * 输出:   '{"zoneName":"Asia -> Kabul","gmtOffset":16200}'
 */
private function fixJson(string $str): string
{
    // 1. 先将所有单引号替换为双引号(注意:仅当单引号成对包裹值时才安全;本数据集中值不含单引号,故可行)
    $str = str_replace("'", '"', $str);

    // 2. 使用正则为无引号的键名添加双引号(匹配 { 或 , 后紧跟的字母数字键名,后跟 :)
    // 注意:此正则不匹配嵌套对象内的键,但当前数据为扁平数组,足够安全
    $str = preg_replace('/(?";
    print_r($data);
    echo "
"; }

⚠️ 重要注意事项

  • 单引号风险:str_replace("'", '"', $str) 在值中含撇号(如 O'Connor)时会破坏 JSON。本数据集的时区值(国家/城市名)不含撇号,故安全;若需通用方案,应改用更精细的 tokenizer 或采用第三方库(如 salsify/jsonlint 预校验)。
  • 性能考量:CSV 行数超万时,逐行正则处理可能成为瓶颈。可考虑预生成清洗后的 JSON 文件,或改用 SplFileObject + yield 实现内存友好流式处理。
  • 数据一致性:原始 CSV 中部分国家时区字段为空或为 'null' 字符串,代码中已通过 empty() 和 isset() 显式跳过,避免 json_decode(null) 返回 null 导致后续错误。
  • 字段映射容错:json_decode(..., true) 返回关联数组后,使用 ?? 操作符兼容不同字段命名变体(如 gmtOffset / gmt_offset),提升代码健壮性。

✅ 最终效果

运行上述方法后,你将获得一个结构清晰、去重后的 PHP 数组,每一项均为标准时区对象,可直接用于下拉选择、时区计算或序列化为前端可用的 JSON API:

[
  [
    "zoneName"      => "Asia -> Kabul",
    "gmtOffset"     => 16200,
    "gmtOffsetName" => "UTC+04:30",
    "abbreviation"  => "AFT",
    "tzName"        => "Afghanistan Time"
  ],
  // ... 更多时区
]

该方案已通过 Online PHP Functions Sandbox 验证,并在 Laravel 生产环境中稳定运行。核心价值在于:用最小侵入性改造,解决开放数据格式不一致的典型痛点。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

json

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

3889

3

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2023.07.25

2508

9

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

2023.08.02

1460

5

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.09

1398

4

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

2023.09.05

1456

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2458

7

c语言get函数的用法
c语言get函数的用法

get函数是一个用于从输入流中获取字符的函数。可以从键盘、文件或其他输入设备中读取字符,并将其存储在指定的变量中。本文介绍了get函数的用法以及一些相关的注意事项。希望这篇文章能够帮助你更好地理解和使用get函数 。

2023.09.20

4140

8

c数组初始化的方法
c数组初始化的方法

c语言数组初始化的方法有直接赋值法、不完全初始化法、省略数组长度法和二维数组初始化法。详细介绍:1、直接赋值法,这种方法可以直接将数组的值进行初始化;2、不完全初始化法,。这种方法可以在一定程度上节省内存空间;3、省略数组长度法,这种方法可以让编译器自动计算数组的长度;4、二维数组初始化法等等。

2023.09.22

19935

6

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

569

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程