如何统计嵌套 ndarray 中特定位置子数组的唯一值数量

轻强酱_1339

轻强酱_1339

2026-06-14

169人浏览

原创

如何统计嵌套 ndarray 中特定位置子数组的唯一值数量

本文介绍如何从结构复杂的嵌套 numpy 数组(如含元组、列表与多维数组混合的数据)中,高效提取并统计某一层级(如每个 mini_array 的第三个子数组)所有数值的唯一值总数。

本文介绍如何从结构复杂的嵌套 numpy 数组(如含元组、列表与多维数组混合的数据)中,高效提取并统计某一层级(如每个 mini_array 的第三个子数组)所有数值的唯一值总数。

在实际科学计算或数据处理中,我们偶尔会遇到非标准的嵌套结构——例如一个主列表包含多个 mini_array,而每个 mini_array 又是一个包含三个 NumPy 数组的元组(或单元素列表包裹元组),其中第三项是形状为 (1, n) 或 (n,) 的整型数组(如 dtype=uint16)。此时,直接调用 np.unique() 会失败,因为数据未扁平化且存在嵌套层级。

以问题中的示例为例:

  • mini_array1[0][2] 是 array([[4832, 4833, 4834]], dtype=uint16)
  • mini_array2[2] 是 array([[4830, 4831]], dtype=uint16)
  • mini_array3[2] 是 array([[4831, 4832]], dtype=uint16)

目标是合并所有第三项,并统计其中全部唯一整数个数(即 4830, 4831, 4832, 4833, 4834 → 共 5 个)。

✅ 推荐解决方案:安全拼接 + 唯一值统计

首先需统一访问路径。观察可知:

  • mini_array1 是 list 包裹一个元组:[(arr0, arr1, arr2)] → 第三项为 mini_array1[0][2]
  • mini_array2 和 mini_array3 是裸元组:(arr0, arr1, arr2) → 第三项为 mini_array2[2]

因此,通用提取逻辑应兼容两种格式。推荐使用以下健壮代码:

import numpy as np

def extract_and_count_unique(mini_arrays):
    all_thirds = []
    for ma in mini_arrays:
        # 兼容:若为单元素列表,则取 [0];否则直接使用
        target = ma[0][2] if isinstance(ma, list) and len(ma) == 1 else ma[2]
        # 确保展平为一维向量(无论 shape 是 (1, n) 还是 (n, 1) 或 (n,))
        all_thirds.append(target.flatten())

    # 拼接所有一维数组并去重
    combined = np.concatenate(all_thirds)
    unique_vals = np.unique(combined)
    return len(unique_vals), unique_vals

# 示例使用
mini_array1 = ([
    np.array([[ 5.95341123, 14.6624946 ],
              [ 5.88628672, 14.70790709],
              [ 5.79873942, 14.68244049]]),
    np.array([[48.208864, 48.218841, 48.228818]]),
    np.array([[4832, 4833, 4834]], dtype=np.uint16)
])

mini_array2 = (
    np.array([[14.08362876, 17.88082237], [14.42213575, 18.09923094]]),
    np.array([[48.18891 , 48.198887]]),
    np.array([[4830, 4831]], dtype=np.uint16)
)

mini_array3 = (
    np.array([[14.08362876, 17.88082237], [14.42213575, 18.09923094]]),
    np.array([[48.18891 , 48.198887]]),
    np.array([[4831, 4832]], dtype=np.uint16)
)

mini_arrays = [mini_array1, mini_array2, mini_array3]
count, values = extract_and_count_unique(mini_arrays)
print(f"Unique count: {count}")  # 输出: Unique count: 5
print(f"Unique values: {values}") # 输出: [4830 4831 4832 4833 4834]

⚠️ 注意事项与最佳实践

  • 避免深层嵌套结构:如答案中强调,[(arr0, arr1, arr2)] 这类“列表套元组套数组”的设计极易引发索引错误和类型混淆。理想做法是在数据加载/预处理阶段就统一为标准 ndarray 或结构化数组(如 np.recarray 或 pandas.DataFrame)。
  • flatten() vs ravel():此处使用 .flatten() 是因它总返回副本,更安全;若追求性能且确认不修改原数组,可用 .ravel()。
  • dtype 一致性:确保所有待合并数组 dtype 相同(如均为 uint16),否则 np.concatenate 可能隐式提升精度,影响 np.unique 结果(例如引入浮点近似)。
  • 内存优化(大数据场景):若 mini_arrays 极大,可改用集合(set)逐步累积唯一值,避免一次性拼接大数组:
    unique_set = set()
    for ma in mini_arrays:
        target = ma[0][2] if isinstance(ma, list) else ma[2]
        unique_set.update(target.flatten().tolist())
    count = len(unique_set)

通过以上方法,你不仅能准确统计唯一值数量,还能建立可复用、可扩展的数据清洗流程,显著提升后续分析的稳定性与可维护性。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1971

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5684

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1929

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

34877

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4067

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4067

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1303

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3163

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
NumPy 官方文档与用户指南
NumPy 官方文档与用户指南

共0课时 | 0人学习

SciPy 教程
SciPy 教程

共10课时 | 4.2万人学习