SkippingIterator的核心价值是按固定步长跳过中间元素直接访问目标数据，适用于等距采样、稀疏读取及内存受限的大样本场景，要求底层数据支持随机索引。

如何利用自定义跳跃迭代器（skippingiterator）实战高效处理大样本数据集中的等距变量采样

自定义跳跃迭代器（SkippingIterator）的核心价值，是在不加载全部数据的前提下，按固定步长跳过中间元素，直接访问目标位置的数据——特别适合等距采样、稀疏读取、内存受限的大样本场景。

明确跳跃逻辑与适用边界

等距变量采样 ≠ 随机采样，它要求每次前进固定间隔（如每第5个样本取一个）。SkippingIterator 不改变原始数据结构，只控制访问节奏。关键前提是：底层数据支持随机索引（如 list、numpy array、torch Dataset），或已封装为可索引的迭代接口（如 __getitem__）。

适合：日志序列、传感器时序、图像批量、CSV 行索引、数据库游标偏移
不适合：纯 forward-only 流（如未缓冲的 HTTP 响应流、生成器无缓存）、不可索引的链表结构
注意：跳步过大可能漏掉局部模式；跳步过小则失去内存/IO 优化意义，建议从 step=10～100 起调

Python 实战：基于 Dataset 的 SkippingIterator 类

以 PyTorch CustomDataset 为基础扩展，复用其 __len__ 和 __getitem__，仅重写迭代行为：

class SkippingIterator:
    def __init__(self, dataset, step=10):
        self.dataset = dataset
        self.step = max(1, step)
        self._pos = 0
        self._max_idx = len(dataset) - 1
<pre class="brush:php;toolbar:false;">def __iter__(self):
    self._pos = 0
    return self

def __next__(self):
    if self._pos > self._max_idx:
        raise StopIteration
    item = self.dataset[self._pos]
    self._pos += self.step
    return item

使用示例

dataset = CustomDataset(data, labels) # 如前文定义 skip_iter = SkippingIterator(dataset, step=25)

for i, (x, y) in enumerate(skip_iter): print(f"采样第{i+1}个: x.shape={x.shape}, label={y}") if i >= 4: break # 仅看前5个

与 DataLoader 协同：避免重复加载

不要把 SkippingIterator 套在 DataLoader 外层——那会破坏 batch 构建和 shuffle 机制。正确做法是：先用 SkippingIterator 获取索引子集，再构造 Subset 或自定义 Sampler。

方案一（推荐）：用 torch.utils.data.Subset + 索引列表
方案二：自定义 Sampler，返回 [0, step, 2×step, ...] 序列
方案三（轻量）：在 __getitem__ 内部做跳判，但需传入全局 step 和 offset，灵活性低

示例（Subset 方式）：

YiHui GIT MONITOR

通用Git项目监控工具，支持GitHub、GitLab、Gitee等所有平台，自动检测、添加/删除仓库更新并生成变更摘要。

下载

from torch.utils.data import Subset
<p>step = 32
indices = list(range(0, len(dataset), step))
subset = Subset(dataset, indices)</p><p>loader = DataLoader(subset, batch_size=8, shuffle=False)</p><h1>后续训练中 loader 自动按 batch 分发已跳采样的数据</h1><p></p>