벤치마크 비교 분석 도구

Go에서는 벤치마크 함수를 작성하여 특정 기능 지점에 대한 성능 테스트를 쉽게 수행할 수 있습니다. 중요한 기능의 경우 CI/CD에 해당 테스트 프로세스를 추가하여 적시에 기능 성능의 변화를 감지할 수 있습니다. 그러면 함수의 성능 변화를 어떻게 감지할 수 있을까?라는 질문이 생깁니다.

즉, 특정 함수를 작성했지만 실행 속도가 매우 느리다는 것을 발견하고 더 나은 구현을 찾기 위해 Google에서 검색하면 실제로 더 빨라졌다는 것을 알 수 있습니다. 벤치마크 기능을 통해 하지만 얼마나 빨라졌는지 알 수는 없습니다. 기능 최적화 전후의 성능 비교, 몇 퍼센트 포인트 향상되었는지, 신뢰성이 높은지 알고 싶습니다.

위의 수요 시나리오에 도움이 될 수 있는 도구가 있습니다. 바로 benchstat입니다.

벤치마크 예

먼저 벤치마크를 검토해 보겠습니다. 이해를 돕기 위해 여기서는 피보나치 수열 값의 고전적인 계산을 예로 들어보겠습니다.

func FibSolution(n int) int {
 if n < 2 {
  return n
 }

 return FibSolution(n-1) + FibSolution(n-2)
}

위 코드는 재귀적 구현입니다. 분명히 n이 점점 커지면 이 함수의 작업에 시간이 많이 소모됩니다. n을 20으로 하면 벤치마크 기능은 다음과 같습니다

func BenchmarkFib20(b *testing.B) {
 for i := 0; i < b.N; i++ {
  FibSolution(20)
 }
}

명령줄 실행<code style='font-size: 14px;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;background: rgba(14, 210, 247, 0.15);'><span style="font-size: 15px;">go test -bench=BenchmarkFib20</span>go test -bench=BenchmarkFib20성능 결과 가져오기

🎜

BenchmarkFib20-8           39452             30229 ns/op

其中，-8 代表的是 8 cpu，函数运行次数为 39452，每次函数的平均花费时间为 30229ns。如果我们想得到多次样本数据，可以指定 go test 的 <span style="font-size: 15px;">-count=N</span> 参数。例如想得到 5 次样本数据，则执行<span style="font-size: 15px;">go test -bench=BenchmarkFib20 -count=5</span>

BenchmarkFib20-8           39325             30297 ns/op
BenchmarkFib20-8           39216             30349 ns/op
BenchmarkFib20-8           39901             30251 ns/op
BenchmarkFib20-8           39336             30455 ns/op
BenchmarkFib20-8           39423             30894 ns/op

计算斐波那契数列值的迭代式实现如下

func FibSolution(n int) int {
 if n < 2 {
  return n
 }
 p, q, r := 0, 0, 1
 for i := 2; i <= n; i++ {
  p = q
  q = r
  r = p + q
 }
 return r
}

对比这两种函数的性能差异，最朴素的方式就是分别对这两个函数进行基准测试，然后通过手工分析这些基准测试结果，但是这并不直观。

benchstat

benchstat 是 Go 官方推荐的一款命令行工具，它用于计算和比较基准测试的相关统计数据。

我们可以通过以下命令进行安装

go install golang.org/x/perf/cmd/benchstat@latest

执行 -h 参数可以看到该工具的使用描述

~ $ benchstat -h
usage: benchstat [options] old.txt [new.txt] [more.txt ...]
options:
  -alpha α
     consider change significant if p < α (default 0.05)
  -csv
     print results in CSV form
  -delta-test test
     significance test to apply to delta: utest, ttest, or none (default "utest")
  -geomean
     print the geometric mean of each file
  -html
     print results as an HTML table
  -norange
     suppress range columns (CSV only)
  -sort order
     sort by order: [-]delta, [-]name, none (default "none")
  -split labels
     split benchmarks by labels (default "pkg,goos,goarch")

我们想比较 FibSolution(n) 从 15 到 20，两种实现方式的性能基准测试。

$ go test -bench=. -count=5 | tee old.txt
$ go test -bench=. -count=5 | tee new.txt

注意，这两条命令执行时，分别对应 FibSolution 函数采用递归式和迭代式实现逻辑。

此时，我们可以对这两个函数实现逻辑进行性能对比

 $ benchstat old.txt new.txt 
name     old time/op  new time/op  delta
Fib15-8  2.67µs ± 2%  0.01µs ± 5%  -99.81%  (p=0.008 n=5+5)
Fib16-8  4.20µs ± 1%  0.01µs ± 2%  -99.87%  (p=0.008 n=5+5)
Fib17-8  6.81µs ± 0%  0.01µs ± 2%  -99.92%  (p=0.008 n=5+5)
Fib18-8  11.1µs ± 1%   0.0µs ± 1%  -99.95%  (p=0.008 n=5+5)
Fib19-8  18.0µs ± 2%   0.0µs ± 4%  -99.97%  (p=0.008 n=5+5)
Fib20-8  29.2µs ± 1%   0.0µs ± 3%  -99.98%  (p=0.008 n=5+5)

可以看到，递归式实现的函数，他的执行时间随着 n 值变大增加非常明显。迭代式实现方式，相较于递归式，它的平均时间开销降低了 99 % 以上，优化效果非常明显。

另外，p=0.008 表示结果的可信程度，p 值越大表明可信度越低。一般以 0.05 作为临界值，超过该值，则结果不可信。n=5+5 表示分别使用的有效样本数量。

Summary

benchstat는 일부 최적화 작업을 수행할 때 데이터를 수동으로 분석하는 데 드는 비용을 줄이는 데 사용할 수 있는 벤치마크 통계 도구입니다.

프로젝트가 CI/CD 프로세스에서 자동화된 테스트를 배포하는 경우 이 도구를 추가할 수 있습니다. 성능 손실을 증가시키는 기능을 변경하는 경우 사전에 문제를 감지하는 데 도움이 될 수 있습니다.

위 내용은 벤치마크 비교 분석 도구의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!