>  기사  >  백엔드 개발  >  한 기사에서 golang 슬라이스와 문자열의 재사용에 대해 알아보세요.

한 기사에서 golang 슬라이스와 문자열의 재사용에 대해 알아보세요.

藏色散人
藏色散人앞으로
2021-07-16 15:34:282411검색

c/C++와 비교하여 golang의 큰 개선점은 gc 메커니즘의 도입입니다. gc 메커니즘은 더 이상 사용자가 직접 메모리를 관리할 필요가 없으며 메모리로 인해 프로그램에서 발생하는 버그를 크게 줄입니다. 누출이 발생하지만 동시에 gc는 추가 성능 오버헤드를 가져오고 때로는 부적절한 사용으로 인해 gc가 성능 병목 현상을 일으키므로 golang 프로그램을 설계할 때 gc에 대한 부담을 줄이기 위해 객체 재사용에 특별한 주의를 기울여야 합니다. . 슬라이스와 스트링은 golang의 기본 유형입니다. 이러한 기본 유형의 내부 메커니즘을 이해하면 이러한 객체를 더 잘 재사용하는 데 도움이 됩니다.

슬라이스와 스트링의 내부 구조

슬라이스와 스트링의 내부 구조는 에서 확인할 수 있습니다. $GOROOT /src/reflect/value.go에서 $GOROOT/src/reflect/value.go 里面找到

type StringHeader struct {
    Data uintptr
    Len  int
}

type SliceHeader struct {
    Data uintptr
    Len  int
    Cap  int
}

可以看到一个 string 包含一个数据指针和一个长度,长度是不可变的

slice 包含一个数据指针、一个长度和一个容量,当容量不够时会重新申请新的内存,Data 指针将指向新的地址,原来的地址空间将被释放

从这些结构就可以看出,string 和 slice 的赋值,包括当做参数传递,和自定义的结构体一样,都仅仅是 Data 指针的浅拷贝

slice 重用

append 操作

si1 := []int{1, 2, 3, 4, 5, 6, 7, 8, 9}
si2 := si1
si2 = append(si2, 0)
Convey("重新分配内存", func() {
    header1 := (*reflect.SliceHeader)(unsafe.Pointer(&si1))
    header2 := (*reflect.SliceHeader)(unsafe.Pointer(&si2))
    fmt.Println(header1.Data)
    fmt.Println(header2.Data)
    So(header1.Data, ShouldNotEqual, header2.Data)
})

si1 和 si2 开始都指向同一个数组,当对 si2 执行 append 操作时,由于原来的 Cap 值不够了,需要重新申请新的空间,因此 Data 值发生了变化,在 $GOROOT/src/reflect/value.go 这个文件里面还有关于新的 cap 值的策略,在 grow 这个函数里面,当 cap 小于 1024 的时候,是成倍的增长,超过的时候,每次增长 25%,而这种内存增长不仅仅数据拷贝(从旧的地址拷贝到新的地址)需要消耗额外的性能,旧地址内存的释放对 gc 也会造成额外的负担,所以如果能够知道数据的长度的情况下,尽量使用 make([]int, len, cap) 预分配内存,不知道长度的情况下,可以考虑下面的内存重用的方法

内存重用

si1 := []int{1, 2, 3, 4, 5, 6, 7, 8, 9}
si2 := si1[:7]
Convey("不重新分配内存", func() {
    header1 := (*reflect.SliceHeader)(unsafe.Pointer(&si1))
    header2 := (*reflect.SliceHeader)(unsafe.Pointer(&si2))
    fmt.Println(header1.Data)
    fmt.Println(header2.Data)
    So(header1.Data, ShouldEqual, header2.Data)
})

Convey("往切片里面 append 一个值", func() {
    si2 = append(si2, 10)
    Convey("改变了原 slice 的值", func() {
        header1 := (*reflect.SliceHeader)(unsafe.Pointer(&si1))
        header2 := (*reflect.SliceHeader)(unsafe.Pointer(&si2))
        fmt.Println(header1.Data)
        fmt.Println(header2.Data)
        So(header1.Data, ShouldEqual, header2.Data)
        So(si1[7], ShouldEqual, 10)
    })
})

si2 是 si1 的一个切片,从第一段代码可以看到切片并不重新分配内存,si2 和 si1 的 Data 指针指向同一片地址,而第二段代码可以看出,当我们往 si2 里面 append 一个新的值的时候,我们发现仍然没有内存分配,而且这个操作使得 si1 的值也发生了改变,因为两者本就是指向同一片 Data 区域,利用这个特性,我们只需要让 si1 = si1[:0] 就可以不断地清空 si1 的内容,实现内存的复用了

PS: 你可以使用 copy(si2, si1) 实现深拷贝

string

Convey("字符串常量", func() {
    str1 := "hello world"
    str2 := "hello world"
    Convey("地址相同", func() {
        header1 := (*reflect.StringHeader)(unsafe.Pointer(&str1))
        header2 := (*reflect.StringHeader)(unsafe.Pointer(&str2))
        fmt.Println(header1.Data)
        fmt.Println(header2.Data)
        So(header1.Data, ShouldEqual, header2.Data)
    })
})

这个例子比较简单,字符串常量使用的是同一片地址区域

Convey("相同字符串的不同子串", func() {
    str1 := "hello world"[:6]
    str2 := "hello world"[:5]
    Convey("地址相同", func() {
        header1 := (*reflect.StringHeader)(unsafe.Pointer(&str1))
        header2 := (*reflect.StringHeader)(unsafe.Pointer(&str2))
        fmt.Println(header1.Data, str1)
        fmt.Println(header2.Data, str2)
        So(str1, ShouldNotEqual, str2)
        So(header1.Data, ShouldEqual, header2.Data)
    })
})

相同字符串的不同子串,不会额外申请新的内存,但是要注意的是这里的相同字符串,指的是 str1.Data == str2.Data && str1.Len == str2.Len,而不是 str1 == str2,下面这个例子可以说明 str1 == str2 但是其 Data 并不相同

Convey("不同字符串的相同子串", func() {
    str1 := "hello world"[:5]
    str2 := "hello golang"[:5]
    Convey("地址不同", func() {
        header1 := (*reflect.StringHeader)(unsafe.Pointer(&str1))
        header2 := (*reflect.StringHeader)(unsafe.Pointer(&str2))
        fmt.Println(header1.Data, str1)
        fmt.Println(header2.Data, str2)
        So(str1, ShouldEqual, str2)
        So(header1.Data, ShouldNotEqual, header2.Data)
    })
})

实际上对于字符串,你只需要记住一点,字符串是不可变的,任何字符串的操作都不会申请额外的内存(对于仅内部数据指针而言),我曾自作聪明地设计了一个 cache 去存储字符串,以减少重复字符串所占用的空间,事实上,除非这个字符串本身就是由 []byte 创建而来,否则,这个字符串本身就是另一个字符串的子串(比如通过 strings.Splitrrreee

를 찾으세요. 문자열에 데이터 포인터와 길이가 포함되어 있음을 알 수 있습니다.

slice에는 데이터 포인터, 길이 및 길이가 포함되어 있습니다. 용량이 부족하면 새 메모리가 다시 적용되고 데이터 포인터는 새 주소를 가리키며 원래 주소 공간은 해제됩니다. 이러한 구조에서 볼 수 있듯이 문자열과 슬라이스에는 매개변수 전달이 포함되며 사용자 정의 구조는 동일하며 데이터 포인터슬라이스 재사용

추가 작업

rrreeesi1과 si2의 얕은 복사본일 뿐이며 처음에는 모두 동일한 배열을 가리킵니다. .si2에서 추가 작업을 수행할 때 원래 Cap 값이 부족하여 새 공간을 다시 적용해야 하므로 $GOROOT/src/reflect 파일에서 Data 값이 변경되었습니다. /value.go에는 새로운 cap 값에 대한 전략도 있습니다. grow 이 함수에서는 cap이 1024보다 작을 때 이를 초과할 때 기하급수적으로 증가합니다. 매번 25%씩 증가하게 됩니다. 이러한 메모리 증가는 단순히 데이터 복사(기존 주소에서 새 주소로 복사)에만 추가 성능이 소모되는 것이 아니며, 기존 주소 메모리를 해제하면 gc에도 추가 부담이 발생하므로, 데이터의 길이를 알 수 있다면 make([]int, len, cap )를 사용해 보세요. 메모리를 미리 할당하세요. 길이를 알 수 없다면 다음과 같은 메모리 재사용 방법을 고려해 보세요

메모리 재사용

rrreee🎜si2는 첫 번째 코드에서 볼 수 있듯이 si1의 슬라이스입니다. 메모리는 슬라이스에 재할당되지 않습니다. si2와 si1의 데이터 포인터는 동일한 슬라이스 주소를 가리킵니다. 두 번째 코드에서 볼 수 있듯이 si2에 새 값을 추가하면 여전히 메모리 할당이 없다는 것을 알 수 있으며, 이 작업으로 인해 si1의 값도 변경됩니다. 왜냐하면 둘 다 동일한 것을 가리키기 때문입니다. 데이터 영역을 사용하면 si1을 계속해서 삭제하려면 si1 = si1[:0]만 사용하면 됩니다. (si2, si1) 딥 카피 구현🎜🎜string🎜rrreee🎜이 예는 비교적 간단합니다. 문자열 상수가 사용됩니다. 동일한 주소 영역에 있는 동일한 문자열의 다른 하위 문자열 🎜rrreee🎜은 새 메모리에 적용되지 않습니다. , 그러나 여기서 동일한 문자열은 str1 == str2대신 str1.Data == str2.Data && str1 .Len == str2.Len을 참조한다는 점에 유의해야 합니다. >, 다음 예는 str1 == str2를 보여주지만 해당 데이터는 동일하지 않습니다🎜rrreee 🎜사실 문자열의 경우 문자열은 변경할 수 없으며 모든 문자열은 한 가지만 기억하면 됩니다. 작업은 추가 메모리(내부 데이터 포인터에만 해당)에 적용되지 않습니다. 실제로 문자열 자체가 []byte, 그렇지 않으면 문자열 자체가 다른 문자입니다. 문자열의 하위 문자열(예: <code>strings.Split을 통해 얻은 문자열)은 추가 공간을 적용하지 않으므로 그렇게 하는 것은 단순히 불필요합니다. 🎜🎜더 많은 golang 관련 기술 기사를 보려면 🎜🎜golang🎜🎜튜토리얼 칼럼을 방문하세요! 🎜🎜

위 내용은 한 기사에서 golang 슬라이스와 문자열의 재사용에 대해 알아보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
이 기사는 segmentfault.com에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제