本文介绍在Google Colab环境中，对有序命名的CSV文件（如M0000.csv–M0099.csv）实现“每10个文件为一批”的分组处理策略，并将每批文件的全部文本行分别存入独立列表，最终构建包含10个子列表的all_text结构。
本文介绍在google colab环境中，对有序命名的csv文件（如m0000.csv–m0099.csv）实现“每10个文件为一批”的分组处理策略，并将每批文件的全部文本行分别存入独立列表，最终构建包含10个子列表的`all_text`结构。
在实际数据处理任务中（尤其在Google Colab配合Google Drive使用时），我们常需对大量结构化小文件进行分块聚合处理——例如将连续10个CSV文件的内容合并为一个逻辑单元，用于后续批量特征提取、模型微调或内存受限下的流式加载。直接遍历所有文件再手动切片易出错，而基于索引模运算的分组法简洁高效。
以下是一个完整、健壮的实现方案：
✅ 核心思路：按文件序号分组 + 动态初始化批次容器
我们不依赖文件名解析（虽可行），而是利用sorted(glob.glob(...))天然保持字典序（即 M0000.csv, M0001.csv, ..., M0099.csv），结合计数器 filenumber 实现精准分块：当 filenumber % 10 == 1 时新建一个空列表（对应第1、11、21...个文件），当 filenumber % 10 == 0 时完成当前批次并可触发汇总操作。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
import glob
import pandas as pd
dir_path = 'drive/My Drive/Tri/'
all_text = [] # 最终结果：长度为10的list，每个元素是该批次所有文本行组成的list
current_batch = [] # 当前正在填充的批次
# 确保按文件名自然顺序读取（关键！）
files = sorted(glob.glob(dir_path + "M*.csv"))
pd.options.display.max_colwidth = 5000
for idx, file in enumerate(files):
# 每10个文件为一个批次：idx从0开始 → 批次索引 = idx // 10
batch_idx = idx // 10
# 若进入新批次，初始化空列表（仅首次需要）
if len(all_text) <h3>⚠️ 关键注意事项</h3>
- 排序必须显式调用 sorted()：glob 返回顺序不保证，而 M0010.csv 在字典序中排在 M002.csv 之后，sorted() 可确保 M0000, M0001, ..., M0099 的严格递增顺序。
- 避免使用 filenumber % 10 == 0 作为唯一判断点：原答案仅提示“此时做某事”，但未解决“如何组织 all_text 结构”。本方案采用 idx // 10 直接计算所属批次索引，更直观且支持任意数量文件（不限于整百）。
- 异常处理不可少：CSV格式异常、空行、编码问题等常见于真实数据，try...except 保障单文件失败不影响整体流程。
- 内存优化建议：若单批次文本量极大，可考虑将 all_text[batch_idx] 替换为生成器或写入临时文件，而非全量驻留内存。
✅ 最终输出结构示例
# all_text[0] 包含 M0000.csv 至 M0009.csv 的所有非空文本行 # all_text[1] 包含 M0010.csv 至 M0019.csv 的所有非空文本行 # ... # all_text[9] 包含 M0090.csv 至 M0099.csv 的所有非空文本行
该模式灵活可扩展：只需修改 batch_size = 10 和 idx // batch_size，即可适配任意分块大小，是处理大规模文件序列的标准化实践。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
