Go에서 고성능 sql.DB를 구성하는 방법을 자세히 설명하는 기사

이 글은 Go에서 고성능 sql.DB를 구성하는 방법을 소개하는 golang튜토리얼 칼럼에서 소개한 글입니다. 도움이 필요한 친구들에게 도움이 되었으면 좋겠습니다!

Go의 sql.DB 유형과 이를 사용하여 SQL 데이터베이스 쿼리를 수행하는 방법에 대한 많은 튜토리얼이 있습니다. 그러나 대부분은 SetMaxOpenConns(), SetMaxIdleConns() 및 SetConnMaxLifetime() 메서드를 다루지 않습니다. code> sql.DB의 동작을 변경하고 성능을 변경합니다. sql.DB类型和如何使用它来执行SQL数据库查询的。但大多数内容都没有讲述SetMaxOpenConns(), SetMaxIdleConns() 和 SetConnMaxLifetime()方法， 您可以使用它们来配置sql.DB的行为并改变其性能。

在本文我将详细解释这些设置的作用，并说明它们所能产生的(积极和消极)影响。

开放和空闲连接
一个sql.DB对象就是一个数据库连接池，它包含“正在用”和“空闲的”连接。一个正在用的连接指的是，你正用它来执行数据库任务，例如执行SQL语句或行查询。当任务完成连接就是空闲的。

当您创建sql.DB执行数据库任务时，它将首先检查连接池中是否有可用的空闲连接。如果有可用的连接，那么Go将重用现有连接，并在执行任务期间将其标记为正在使用。如果池中没有空闲连接，而您需要一个空闲连接，那么Go将创建一个新的连接。

SetMaxOpenConns方法

默认情况下，在同一时间打开连接的数量是没有限制(包含使用中+空闲)。但你可以通过SetMaxOpenConns()方法实现自定义限制，如下所示:

// 初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)
}

// 设置当前最大开放连接数（包括空闲和正在使用的）为5。
// 如果设置为0代表连接数没有限制，默认是没有限制数量的。
db.SetMaxOpenConns(5)

在这个示例代码中，连接池现在有5个并发打开的连接数。如果所有5个连接都已经被标记为正在使用，并且需要另一个新的连接，那么应用程序将被迫等待，直到5个连接中的一个被释放并变为空闲。

为了说明更改MaxOpenConns的影响，我运行了一个基准测试，将最大打开连接数设置为1、2、5、10和无限。基准测试在PostgreSQL数据库上执行并行的INSERT语句，您可以在这里找到代码。测试结果:

BenchmarkMaxOpenConns1-8                 500       3129633 ns/op         478 B/op         10 allocs/op
BenchmarkMaxOpenConns2-8                1000       2181641 ns/op         470 B/op         10 allocs/op
BenchmarkMaxOpenConns5-8                2000        859654 ns/op         493 B/op         10 allocs/op
BenchmarkMaxOpenConns10-8               2000        545394 ns/op         510 B/op         10 allocs/op
BenchmarkMaxOpenConnsUnlimited-8        2000        531030 ns/op         479 B/op          9 allocs/op
PASS

对于这个基准测试，我们可以看到，允许打开的连接越多，在数据库上执行INSERT操作所花费的时间就越少(打开的连接数为1时，执行速度3129633ns/op，而无限连接：531030ns/op——大约快了6倍)。这是因为允许打开的连接越多，可以并发执行的数据库查询就越多。

SetMaxIdleConns方法
默认情况下，sql.DB允许连接池中最多保留2个空闲连接。你可以通过SetMaxIdleConns()

이 글에서는 이러한 설정이 수행하는 작업과 해당 설정이 미칠 수 있는 (긍정적 및 부정적) 효과에 대해 자세히 설명하겠습니다.

개방 및 유휴 연결

sql.DB 개체는 "사용 중" 및 "유휴" 연결을 포함하는 데이터베이스 연결 풀입니다. 활성 연결은 SQL 문이나 행 쿼리 실행과 같은 데이터베이스 작업을 수행하는 데 해당 연결을 사용하고 있음을 의미합니다. 작업이 완료되면 연결이 해제됩니다.

데이터베이스 작업을 수행하기 위해 sql.DB를 생성하면 먼저 연결 풀에 사용 가능한 무료 연결이 있는지 확인합니다. 사용 가능한 연결이 있으면 Go는 기존 연결을 재사용하고 작업 실행 중에 이를 사용 중인 것으로 표시합니다. 풀에 무료 연결이 없고 필요한 경우 Go는 새 연결을 만듭니다.


SetMaxOpenConns 방법

🎜기본적으로 동시에 열려 있는 연결 수는 무제한입니다(사용 중 + 유휴 포함). 하지만 아래와 같이 SetMaxOpenConns() 메서드를 통해 사용자 정의 제한을 구현할 수 있습니다. 🎜

//  初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)
}

// 设置最大空闲连接数为5。 将此值设置为小于或等于0将意味着不保留空闲连接。
db.SetMaxIdleConns(5)

🎜 이 예제 코드에서 연결 풀에는 이제 5개의 동시 열린 연결이 있습니다. 5개의 연결이 모두 사용 중인 것으로 이미 표시되어 있고 또 다른 새 연결이 필요한 경우 애플리케이션은 5개의 연결 중 하나가 해제되어 무료가 될 때까지 기다려야 합니다. 🎜🎜MaxOpenConns 변경이 미치는 영향을 설명하기 위해 최대 개방 연결 수를 1, 2, 5, 10 및 무한으로 설정하는 벤치마크를 실행했습니다. 벤치마크는 PostgreSQL 데이터베이스에서 병렬 INSERT 문을 실행합니다. 여기에서 코드를 찾을 수 있습니다. 테스트 결과: 🎜🎜🎜BenchmarkMaxOpenConns1-8 500 3129633 ns/op 478 B/op 10 할당/op🎜BenchmarkMaxOpenConns2-8 1000 2181641 ns/op 470 B/op 10 할당/op🎜BenchmarkMaxOpenConns5-8 2000 859654ns/op 493B /op 10 allocs/op🎜BenchmarkMaxOpenConns10-8 2000 545394 ns/op 510 B/op 10 allocs/op🎜BenchmarkMaxOpenConnsUnlimited-8 2000 531030 ns/op 479 B/op 9 allocs/op🎜PASS🎜

🎜 벤치마크 테스트를 통해 더 많은 열린 연결이 허용될수록 데이터베이스에서 INSERT 작업을 수행하는 데 걸리는 시간이 줄어드는 것을 확인할 수 있습니다. (열린 연결 수가 1일 때 실행 속도는 3129633ns/ op 및 무제한 연결: 531030ns/op - 약 6배 빠름). 이는 더 많은 연결을 허용할수록 동시에 실행할 수 있는 데이터베이스 쿼리가 더 많아지기 때문입니다. 🎜🎜🎜SetMaxIdleConns 방법🎜🎜기본적으로 sql.DB에서는 연결 풀에 최대 2개의 유휴 연결을 유지할 수 있습니다. 아래와 같이 SetMaxIdleConns() 메서드를 통해 변경할 수 있습니다. 🎜

// 初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)
}

// 将连接的最大生存期设置为1小时。将其设置为0意味着没有最大生存期，连接将永远可重用(这是默认行为)
db.SetConnMaxLifetime(time.Hour)

🎜 이론적으로 풀에서 더 많은 유휴 연결을 허용하면 처음부터 시작할 가능성이 줄어들기 때문에 성능이 향상됩니다. 새로운 연결 - 따라서 데이터베이스 성능을 향상시키는 데 도움이 됩니다. 🎜🎜최대 유휴 연결을 없음, 1, 2, 5, 10으로 설정한 동일한 벤치마크를 살펴보겠습니다. 🎜🎜🎜BenchmarkMaxIdleConnsNone-8 300 4567245 ns/op 58174 B/op 625 allocs/op 🎜BenchmarkMaxIdleConns1-8 2000 568765 ns/op 2596 B/op 32 할당/op🎜BenchmarkMaxIdleConns2-8 2000 529359 ns/op 596 B/op 11 할당/op🎜BenchmarkMaxIdleConns5-8 2000 506207 ns/op 451 B/op 9 할당 enchmarkMaxIdleConns10- 8 2000 501639 ns/op 450 B/op 9 할당/op🎜PASS🎜

当MaxIdleConns设置为none时，必须为每个INSERT从头创建一个新的连接，我们可以从基准测试中看到，平均运行时和内存使用量相对较高。

只允许保留和重用一个空闲连接对基准测试影响特别明显——它将平均运行时间减少了大约8倍，内存使用量减少了大约20倍。继续增加空闲连接池的大小会使性能变得更好，尽管改进并不明显。

那么，您应该维护一个大的空闲连接池吗?答案取决于应用程序。重要的是要意识到保持空闲连接是有代价的—它占用了可以用于应用程序和数据库的内存。

还有一种可能是，如果一个连接空闲时间太长，那么它可能会变得不可用。例如，MySQL的wait_timeout设置将自动关闭任何8小时(默认)内未使用的连接。

当发生这种情况时，sql.DB会优雅地处理它。坏连接将自动重试两次，然后放弃，此时Go将该连接从连接池中删除，并创建一个新的连接。因此，将MaxIdleConns设置得太大可能会导致连接变得不可用，与空闲连接池更小(使用更频繁的连接更少)相比，会占有更多的资源。所以，如果你很可能很快就会再次使用，你只需保持一个空闲的连接。

最后要指出的是，MaxIdleConns应该总是小于或等于MaxOpenConns.
。Go强制执行此操作，并在必要时自动减少MaxIdleConns。

SetConnMaxLifetime方法
现在让我们看看SetConnMaxLifetime()方法，它设置连接可重用的最大时间长度。如果您的SQL数据库也实现了最大连接生命周期，或者—例如—您希望方便地在负载均衡器后交换数据库，那么这将非常有用。
你可以这样使用它:

// 初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)
}

// 将连接的最大生存期设置为1小时。将其设置为0意味着没有最大生存期，连接将永远可重用(这是默认行为)
db.SetConnMaxLifetime(time.Hour)

在这个例子中，所有的连接都将在创建后1小时“过期”，并且在过期后无法重用。但注意:

• 这并不能保证连接将在池中存在整整一个小时；很有可能，由于某些原因，连接变得不可用，并在此之前自动关闭。
• 一个连接在创建后一个多小时仍然可以被使用——它只是在这个时间之后不能被重用。
• 这不是空闲超时。连接将在第一次创建后1小时过期——而不是在最后一次空闲后1小时。
• 每隔一秒自动运行一次清理操作，从连接池中删除“过期”的连接。

从理论上讲，ConnMaxLifetime越短，连接过期的频率就越高——因此，需要从头创建连接的频率就越高。为了说明这一点，我运行了将ConnMaxLifetime设置为100ms、200ms、500ms、1000ms和无限(永远重用)的基准测试，默认设置为无限打开连接和2个空闲连接。

这些时间段显然比您在大多数应用程序中使用的时间要短得多，但它们有助于很好地说明行为。

BenchmarkConnMaxLifetime100-8               2000        637902 ns/op        2770 B/op         34 allocs/op
BenchmarkConnMaxLifetime200-8               2000        576053 ns/op        1612 B/op         21 allocs/op
BenchmarkConnMaxLifetime500-8               2000        558297 ns/op         913 B/op         14 allocs/op
BenchmarkConnMaxLifetime1000-8              2000        543601 ns/op         740 B/op         12 allocs/op
BenchmarkConnMaxLifetimeUnlimited-8         3000        532789 ns/op         412 B/op          9 allocs/op
PASS

在这些特定的基准测试中，我们可以看到，与无限生存期相比，在100ms生存期时内存使用量增加了3倍以上，而且每个INSERT的平均运行时也稍微长一些。

如果您在代码中设置了ConnMaxLifetime，那么一定要记住连接将过期(随后重新创建)的频率。例如，如果您总共有100个连接，而ConnMaxLifetime为1分钟，那么您的应用程序可能每秒钟杀死和重新创建1.67个连接(平均值)。您不希望这个频率太大，最终会阻碍性能，而不是提高性能。

连接数量超出
最后，如果不说明超过数据库连接数量的硬限制将会发生什么，那么本文就不完整了。 为了说明这一点，我将修改postgresql.conf文件，这样总共只允许5个连接(默认是100个)…

max_connections = 5

然后在无限连接的情况下重新运行基准测试……

BenchmarkMaxOpenConnsUnlimited-8    — FAIL: BenchmarkMaxOpenConnsUnlimited-8
   main_test.go: 14: pq: sorry, too many clients already
   main_test.go: 14: pq: sorry, too many clients already
   main_test.go: 14: pq: sorry, too many clients already
FAIL

一旦达到5个连接的硬限制，数据库驱动程序(pq)立即返回一个太多客户端连接的错误消息，而无法完成INSERT。为了防止这个错误，我们需要将sql.DB中打开连接的最大总数(正在使用的+空闲的)设置为低于5。像这样:

// 初始化一个新的连接池
db, err := sql.Open("postgres", "postgres://user:pass@localhost/db")
if err != nil {
    log.Fatal(err)}
    // 将打开的连接数(正在使用的连接+空闲的连接)设置为最大总数3。
 db.SetMaxOpenConns (3)

现在，sql.DB在任何时候最多只能创建3个连接，基准测试运行时应该不会出现任何错误。但是这样做需要注意：当达到开放连接数限制，并且所有连接都在使用时，应用程序需要执行的任何新的数据库任务都将被迫等待，直到连接标记为空闲。例如，在web应用程序的上下文中，用户的HTTP请求看起来会“挂起”，甚至在等待数据库任务运行时可能会超时。

为了减轻这种情况，你应该始终在一个上下文中传递。在调用数据库时，启用上下文的方法(如ExecContext())，使用固定的、快速的超时上下文对象。

 
总结
1、根据经验，应该显式设置MaxOpenConns值。这应该小于数据库和基础设施对连接数量的硬性限制。
2、一般来说，更高的MaxOpenConns和MaxIdleConns值将带来更好的性能。但你应该注意到效果是递减的，连接池空闲连接太多(连接没有被重用，最终会变坏)实际上会导致性能下降。
3、为了降低上面第2点带来的风险，您可能需要设置一个相对较短的ConnMaxLifetime。但你也不希望它太短，导致连接被杀死或不必要地频繁重建。
4、MaxIdleConns应该总是小于或等于MaxOpenConns。
对于中小型web应用程序，我通常使用以下设置作为起点，然后根据实际吞吐量水平的负载测试结果进行优化。

db.SetMaxOpenConns(25)db.SetMaxIdleConns(25)db.SetConnMaxLifetime(5*time.Minute)

到此这篇关于golang配制高性能sql.DB的使用的文章就介绍到这了                                                     

위 내용은 Go에서 고성능 sql.DB를 구성하는 방법을 자세히 설명하는 기사의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!