Que dois-je faire si Golang lit des fichiers tronqués ?

Golang, en tant que langage de développement, peut être considéré comme relativement pratique en termes de lecture et d'écriture de fichiers, mais il existe encore certains problèmes rencontrés dans le développement réel, tels que des caractères tronqués après la lecture des fichiers. Cet article présentera les raisons et les solutions pour lire des fichiers tronqués dans Golang.

1. Contexte du problème

Lorsque nous utilisons Golang pour lire des fichiers, parfois le contenu après la lecture sera tronqué, comme le montre la figure ci-dessous :

2. sont : Nombreuses, voici quelques situations courantes :

2.1. Le format d'encodage du fichier ne correspond pas

Le format d'encodage du fichier fait référence au format d'encodage du contenu du fichier lorsqu'il est stocké, et non à l'extension. Lorsque Golang lit des fichiers, il les lit au format de codage UTF-8 par défaut. Si le fichier lu n'est pas au format de codage UTF-8, des caractères tronqués apparaîtront.

Par exemple, nous pouvons créer un fichier texte txt via l'outil de ligne de commande cmd du système Windows et l'enregistrer en utilisant le format d'encodage "gbk", comme le montre la figure ci-dessous :

Ensuite, nous utilisons le programme golang pour le lire, comme le montre la figure ci-dessous :

On peut constater que le contenu du fichier lu est tronqué car le format d'encodage par défaut de golang est UTF-8.

2.2. L'ordre des octets n'est pas traité correctement

Dans Golang, lors de la lecture de fichiers, si le format d'encodage est UTF-16 (y compris UTF-16LE et UTF-16BE), l'ordre des octets doit être traité correctement. UTF-16LE signifie qu'en mémoire, les octets de poids faible sont stockés devant et les octets de poids fort sont stockés à l'arrière, tandis que UTF-16BE est l'inverse.

Si nous ne gérons pas correctement l'ordre des octets lors de la lecture des fichiers UTF-16, des caractères tronqués apparaîtront.

2.3. Autres problèmes de conversion de format d'encodage

Parfois, nous pouvons avoir besoin de convertir des fichiers dans d'autres formats (tels que CSV, XML, etc.) dans des formats pris en charge par Golang pour la lecture, mais la conversion du format d'encodage peut se produire pendant la conversion. entraîne des caractères tronqués.

3. Solution

Pour les situations ci-dessus, nous pouvons prendre les solutions suivantes :

3.1. Confirmez le format d'encodage du fichier et lisez-le

Si nous connaissons déjà le format d'encodage du fichier, nous devons lire le fichier. Lors de la spécification du format d'encodage correspondant.

golang fournit une méthode ReadFile du package ioutil, qui peut lire des fichiers très facilement. Lorsque vous utilisez cette méthode, vous pouvez spécifier le format d'encodage du fichier via des méthodes telles que bufio.NewReader et ioutil.NopCloser. Le code est le suivant :

func ReadFileWithCharset(filename string, charset string) ([]byte, error) {
    f, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer f.Close()

    r, err := charset.NewReader(f)
    if err != nil {
        return nil, err
    }
    defer r.Close()

    return ioutil.ReadAll(r)
}

où charset. La méthode NewReader générera un nouvel objet <code>ReadCloser selon le format d'encodage spécifié et utilisera cet objet pour lire le fichier. ioutil包的ReadFile方法，可以非常方便地进行文件读取。在使用该方法时，可以通过bufio.NewReader和ioutil.NopCloser等方法指定文件编码格式，代码如下所示：

package main

import (
    "fmt"
    "io/ioutil"
    "unicode/utf16"
)

func readUTF16File(filename string) ([]byte, error) {
    data, err := ioutil.ReadFile(filename)
    if err != nil {
        return nil, err
    }

    u := utf16.Decode(data)

    return []byte(string(u)), nil
}

func main() {
    data, _ := readUTF16File("test.txt")
    fmt.Println(string(data))
}

其中charset.NewReader方法会根据指定的编码格式生成一个新的ReadCloser对象，使用该对象进行文件读取即可。

3.2、使用unicode/utf16库进行字节序转换

在使用unicode/utf16库时，需要注意该库中最大长度为32767字节，如果文件大小超过该限制，则需要进行分段读取。

代码示例：

package main

import(
    "fmt"
    "io/ioutil"
    "golang.org/x/text/encoding/charmap"
)

func ReadFileWithCharset(filename string, charset string) ([]byte, error) {
    data, err := ioutil.ReadFile(filename)
    if err != nil {
        return nil, err
    }

    charmap := charmap.Windows1252.NewDecoder()

    return charmap.Bytes(data)
}

func main() {
    data,_:=ReadFileWithCharset("test.txt","UTF-8")
    fmt.Println(string(data))
}

3.3、使用golang.org/x/text库进行编码格式转换

golang.org/x/text库提供了非常详细的编码格式转换功能，可以解决绝大部分和编码格式相关的问题。

代码示例：

rrreee

4、小结

乱码问题是开发中非常常见的问题，而在golang中，应该根据具体情况选择解决方法。如果文件编码格式确定，则应该在文件读取过程中指定相应的编码格式；如果涉及到字节序问题，则需要使用unicode/utf16库进行字节序转换；而对于其他编码格式转换问题，则可以使用golang.org/x/text

3.2. Utilisez la bibliothèque unicode/utf16 pour la conversion de l'ordre des octets🎜🎜Lorsque vous utilisez la bibliothèque unicode/utf16, vous devez noter que la longueur maximale de la bibliothèque est 32 767 octets Si la taille du fichier dépasse cette limite, une lecture segmentée est requise. 🎜🎜Exemple de code : 🎜rrreee🎜3.3. Utilisez la bibliothèque golang.org/x/text pour la conversion de format d'encodage🎜🎜La bibliothèque golang.org/x/text fournit de très bons résultats. La fonction de conversion de format d'encodage détaillée peut résoudre la plupart des problèmes liés au format d'encodage. 🎜🎜Exemple de code : 🎜rrreee🎜4. Résumé🎜🎜Le problème de code tronqué est un problème très courant en développement, et en Golang, la solution doit être choisie en fonction de la situation spécifique. Si le format d'encodage du fichier est déterminé, le format d'encodage correspondant doit être spécifié lors du processus de lecture du fichier ; si des problèmes d'ordre des octets sont impliqués, vous devez utiliser la bibliothèque unicode/utf16 pour la conversion de l'ordre des octets ; pour Pour d'autres problèmes de conversion de format d'encodage, vous pouvez utiliser la bibliothèque golang.org/x/text pour la conversion. Grâce aux méthodes ci-dessus, le problème de la lecture des caractères tronqués dans les fichiers Golang peut être résolu efficacement et l'efficacité du développement améliorée. 🎜

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!