如何合理创建机器学习学习数据以克服数据量不足

在机器学习项目中，数据量不足是一个常见的挑战。为了解决这个问题，有几种方法可以尽可能合理地创建更多的数据。

重采样

重采样是最简单的方法之一。它涉及创建输入数据的重复副本。例如，对于数据 NUM1，我们可以创建重复的副本 NUM2，其中删除了一个 A 特征。

通过重采样，我们可以增加数据集的大小，而无需更改任何特征值。然而，重要的是要注意，重采样不会增加数据的多样性。

过采样

过采样除重采样外，还涉及创建新的数据点。有几种过采样算法可用于此目的，例如 SMOTE（合成少数类过采样技术）。SMOTE 通过对少数类中的少数点进行插值来创建新的点。

过采样可以增加数据的多样性，但它也有过度拟合的风险。因此，在使用过采样技术时必须谨慎。

处理不平衡数据集

在某些情况下，数据可能不平衡，这意味着某些类别的实例比其他类别少得多。对于处理不平衡数据集，有几种技术可用，包括：

• 欠采样： 减少多数类中的实例数。
• 过采样： 增加少数类中的实例。
• SMOTE： 用于过采样的算法，它有助于避免过度拟合。

注意：

• 不要对测试数据创建更多的数据，因为测试数据需要真实可靠。
• 选择创建更多数据的正确方法取决于数据集的具体性质和项目的目标。