减少执行大事务时的内存消耗

php小编柚子今天为大家介绍一个重要的技巧——如何减少执行大事务时的内存消耗。在处理大量数据或执行复杂操作时，内存消耗可能成为一个严重的问题。为了解决这个问题，我们需要采取一些优化措施，以提高代码的效率和性能。本文将为您详细介绍一些减少内存消耗的方法和技巧，帮助您在处理大事务时更加高效地利用内存资源。

问题内容

我按照 internet 上的示例，使用以下 sqlite 参数提高了 insert 查询的速度：

pragma journal_mode = off;
pragma synchronous = 0;
pragma cache_size = 1000000;
pragma locking_mode = exclusive;
pragma temp_store = memory;

这是我的代码：

tx, err := db.begin()
if err != nil {
    log.fatal(err)
}
pr, err := tx.prepare("insert into table (p1, p2, p3, p4, p5) values (?, ?, ?, ?, ?)")
if err != nil {
    log.fatal(err)
}
defer pr.close()
for i := 0; i < maxi; i++ {
    for j := 0; j < maxj; j++ {
        ...
        _, err = pr.exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.fatal(err)
        }
    }
}
err = tx.commit()
if err != nil {
    log.fatal(err)
}

现在查询运行速度很快，但消耗了太多 ram。因为数据存储在ram中，只有在执行的最后才保存到数据库文件中。

我认为可以定期将数据保存到数据库文件中，这样会稍微增加执行时间，但会减少内存消耗。随着“i”的每次变化，交易开始，当所有“j”完成时，交易结束：

for i := 0; i < maxI; i++ {
    tx, err := db.Begin()
    if err != nil {
        log.Fatal(err)
    }
    pr, err := tx.Prepare("INSERT INTO Table (p1, p2, p3, p4, p5) VALUES (?, ?, ?, ?, ?)")
    if err != nil {
        log.Fatal(err)
    }
    defer pr.Close()
    for j := 0; j < maxJ; j++ {
        ...
        _, err = pr.Exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.Fatal(err)
        }
    }
    err = tx.Commit()
    if err != nil {
        log.Fatal(err)
    }
}

我认为现在数据应该以块的形式写入文件，并且 ram 中应该只有一个数据块。

但在执行过程中，数据并没有保存到文件中，ram持续被填满。也就是说，第一个和第二个代码选项的执行没有区别。

我认为当调用事务的“commit”时，数据应该保存到文件中，并且应该清除ram。请告诉我我做错了什么。

解决方法

PRAGMAcache_size的参数是页数（一般为每页4k字节）。

PRAGMA cache_size = 1000000;将分配最大4GB的RAM给页面缓存。 页面缓存在需要时分配，最多可达最大值，但在连接关闭之前不会释放。

由于您要插入大量行，它们最终会出现在不同的页面上，因此您最终将在缓存中保留已写入磁盘的所有页面，直到填满缓存为止。

如果您想减少内存消耗，只需将该值减少到 1000 之类的值（相当于 4 MB），或者干脆将其删除。默认缓存为 2 MB，如果您只是插入行就足够了。

另请注意，当您调用 COMMIT 时（或者如果没有足够的缓存，甚至在提交之前），数据确实会写入磁盘。但是 Sqlite 会在缓存中保留一个副本，以备以后需要时使用，以避免从磁盘重新读取它。

以上是减少执行大事务时的内存消耗的详细内容。更多信息请关注PHP中文网其他相关文章！