>백엔드 개발 >Golang >Go에서 UTF-8로 인코딩되지 않은 텍스트 파일(예: GBK)을 읽는 방법은 무엇입니까?

Go에서 UTF-8로 인코딩되지 않은 텍스트 파일(예: GBK)을 읽는 방법은 무엇입니까?

Susan Sarandon
Susan Sarandon원래의
2024-12-01 12:37:16628검색

How to Read Non-UTF-8 Encoded Text Files (e.g., GBK) in Go?

Go에서 UTF-8이 아닌 텍스트 파일 읽기

Go에서는 UTF-8이 아닌 텍스트 파일을 읽고 쓰는 것이 어려울 수 있습니다. 표준 라이브러리는 UTF-8 인코딩을 가정합니다. 이 문서에서는 이 문제를 다루고 Go의 하위 저장소를 사용하는 포괄적인 솔루션을 제공합니다.

문제:

UTF-8이 아닌 형식으로 인코딩된 텍스트 파일을 어떻게 읽을 수 있나요? , GBK와 같은 가시나요?

해결책:

UTF-8이 아닌 인코딩으로 파일을 읽으려면 golang.org/x/text/encoding 패키지를 활용합니다. 이 패키지는 UTF-8과의 변환을 용이하게 하는 일반 문자 인코딩을 위한 인터페이스를 정의합니다.

특히 GBK 인코딩의 경우 golang.org/x/text/encoding/simplifiedchinese 하위 패키지를 사용합니다. GB18030, GBK 및 HZ-GB2312 인코딩 구현을 제공합니다. 이러한 구현은 인코딩.인코딩 인터페이스를 구현합니다.

구현:

다음은 GBK 인코딩된 데이터의 읽기 및 쓰기를 보여주는 예입니다. 파일:

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"

    "golang.org/x/text/encoding/simplifiedchinese"
    "golang.org/x/text/transform"
)

var enc = simplifiedchinese.GBK

func main() {
    // Example filename
    const filename = "example_GBK_file"

    exampleWriteGBK(filename)
    exampleReadGBK(filename)
}

func exampleReadGBK(filename string) {
    f, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }

    // Convert GBK to UTF-8 on the fly
    r := transform.NewReader(f, enc.NewDecoder())

    sc := bufio.NewScanner(r)
    for sc.Scan() {
        fmt.Printf("Read line: %s\n", sc.Bytes())
    }
    if err := sc.Err(); err != nil {
        log.Fatal(err)
    }
}

func exampleWriteGBK(filename string) {
    f, err := os.Create(filename)
    if err != nil {
        log.Fatal(err)
    }

    w := transform.NewWriter(f, enc.NewEncoder())

    // Example text with Chinese characters
    _, err = fmt.Fprintln(w,
        `In 1995, China National Information Technology Standardization
Technical Committee set down the Chinese Internal Code Specification
(Chinese: 汉字内码扩展规范(GBK); pinyin: Hànzì Nèimǎ
Kuòzhǎn Guīfàn (GBK)), Version 1.0, known as GBK 1.0, which is a
slight extension of Codepage 936. The newly added 95 characters were not
found in GB 13000.1-1993, and were provisionally assigned Unicode PUA
code points.`)
    if err != nil {
        log.Fatal(err)
    }
}

플레이그라운드:

https://go.dev/play/p/fFIy9VES6cL

위 내용은 Go에서 UTF-8로 인코딩되지 않은 텍스트 파일(예: GBK)을 읽는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.