©
本文档使用
php.cn手册 发布
import "unicode/utf8"
概观
索引
示例
打包 utf8 实现函数和常量以支持以 UTF-8 编码的文本。它包含在符文和 UTF-8 字节序列之间转换的函数。
常量
func DecodeLastRune(p []byte) (r rune, size int)
func DecodeLastRuneInString(s string) (r rune, size int)
func DecodeRune(p []byte) (r rune, size int)
func DecodeRuneInString(s string) (r rune, size int)
func EncodeRune(p []byte, r rune) int
func FullRune(p []byte) bool
func FullRuneInString(s string) bool
func RuneCount(p []byte) int
func RuneCountInString(s string) (n int)
func RuneLen(r rune) int
func RuneStart(b byte) bool
func Valid(p []byte) bool
func ValidRune(r rune) bool
func ValidString(s string) bool
DecodeLastRune DecodeLastRuneInString DecodeRune DecodeRuneInString EncodeRune FullRune FullRuneInString RuneCount RuneCountInString RuneLen RuneStart Valid ValidRune ValidString
utf8.go
编码的基本数字。
const ( RuneError = '\uFFFD' // the "error" Rune or "Unicode replacement character" RuneSelf = 0x80 // characters below Runeself are represented as themselves in a single byte. MaxRune = '\U0010FFFF' // Maximum valid Unicode code point. UTFMax = 4 // maximum number of bytes of a UTF-8 encoded Unicode character.)
func DecodeLastRune(p []byte) (r rune, size int)
DecodeLastRune 解压 p 中的最后一个 UTF-8 编码,并以字节为单位返回符文及其宽度。如果p为空,则返回(RuneError, 0)。否则,如果编码无效,则返回(RuneError, 1)。对于正确的非空 UTF-8,两者都是不可能的结果。
如果编码不正确,则编码无效 UTF-8,对超出范围的符文进行编码,或者该值不是最短的 UTF-8 编码。不执行其他验证。
package mainimport ("fmt""unicode/utf8")func main() { b := []byte("Hello, 世界")for len(b) > 0 { r, size := utf8.DecodeLastRune(b) fmt.Printf("%c %v\n", r, size) b = b[:len(b)-size]}}
func DecodeLastRuneInString(s string) (r rune, size int)
DecodeLastRuneInString 与 DecodeLastRune 类似,但其输入是一个字符串。如果 s 为空,则返回(RuneError, 0)。否则,如果编码无效,则返回(RuneError, 1)。对于正确的非空 UTF-8,两者都是不可能的结果。
如果编码不正确,则编码无效 UTF-8,对超出范围的符文进行编码,或者该值不是最短的UTF-8 编码。不执行其他验证。
package mainimport ("fmt""unicode/utf8")func main() { str := "Hello, 世界"for len(str) > 0 { r, size := utf8.DecodeLastRuneInString(str) fmt.Printf("%c %v\n", r, size) str = str[:len(str)-size]}}
func DecodeRune(p []byte) (r rune, size int)
DecodeRune 解压 p 中的第一个 UTF-8 编码,并以字节为单位返回符文及其宽度。如果 p 为空,则返回(RuneError, 0)。否则,如果编码无效,则返回(RuneError, 1)。对于正确的非空 UTF-8 ,两者都是不可能的结果。
如果编码不正确,则编码无效 UTF-8 ,对超出范围的符文进行编码,或者该值不是最短的 UTF-8 编码。不执行其他验证。
package mainimport ("fmt""unicode/utf8")func main() { b := []byte("Hello, 世界")for len(b) > 0 { r, size := utf8.DecodeRune(b) fmt.Printf("%c %v\n", r, size) b = b[size:]}}
func DecodeRuneInString(s string) (r rune, size int)
DecodeRuneInString 与 DecodeRune类似,但其输入是一个字符串。如果 s 为空,则返回(RuneError, 0)。否则,如果编码无效,则返回 (RuneError, 1)。对于正确的非空 UTF-8 ,两者都是不可能的结果。
如果编码不正确,则编码无效 UTF-8,对超出范围的符文进行编码,或者该值不是最短的 UTF-8 编码。不执行其他验证。
package mainimport ("fmt""unicode/utf8")func main() { str := "Hello, 世界"for len(str) > 0 { r, size := utf8.DecodeRuneInString(str) fmt.Printf("%c %v\n", r, size) str = str[size:]}}
func EncodeRune(p []byte, r rune) int
EncodeRune 写入 p (必须足够大)符文的 UTF-8 编码。它返回写入的字节数。
package mainimport ("fmt""unicode/utf8")func main() { r := '世' buf := make([]byte, 3) n := utf8.EncodeRune(buf, r) fmt.Println(buf) fmt.Println(n)}
func FullRune(p []byte) bool
FullRune 报告 p 中的字节是否以完整的符文 UTF-8 编码开始。一个无效的编码被认为是一个完整的符文,因为它将转换为一个宽度为1的错误符文。
package mainimport ("fmt""unicode/utf8")func main() { buf := []byte{228, 184, 150} // 世 fmt.Println(utf8.FullRune(buf)) fmt.Println(utf8.FullRune(buf[:2]))}
func FullRuneInString(s string) bool
FullRuneInString 与 FullRune 类似,但其输入是一个字符串。
package mainimport ("fmt""unicode/utf8")func main() { str := "世" fmt.Println(utf8.FullRuneInString(str)) fmt.Println(utf8.FullRuneInString(str[:2]))}
func RuneCount(p []byte) int
RuneCount 返回 p 中的符文数。错误和短的编码被视为宽度为1个字节的单个符文。
package mainimport ("fmt""unicode/utf8")func main() { buf := []byte("Hello, 世界") fmt.Println("bytes =", len(buf)) fmt.Println("runes =", utf8.RuneCount(buf))}
func RuneCountInString(s string) (n int)
RuneCountInString 就像 RuneCount ,但它的输入是一个字符串。
package mainimport ("fmt""unicode/utf8")func main() { str := "Hello, 世界" fmt.Println("bytes =", len(str)) fmt.Println("runes =", utf8.RuneCountInString(str))}
func RuneLen(r rune) int
RuneLen 返回对符文进行编码所需的字节数。如果符文不是以 UTF-8 编码的有效值,则它返回-1。
package mainimport ("fmt""unicode/utf8")func main() { fmt.Println(utf8.RuneLen('a')) fmt.Println(utf8.RuneLen('界'))}
func RuneStart(b byte) bool
RuneStart 报告该字节是否可能是编码的,可能无效的符文的第一个字节。第二个和后续字节总是将前两位设置为10。
package mainimport ("fmt""unicode/utf8")func main() { buf := []byte("a界") fmt.Println(utf8.RuneStart(buf[0])) fmt.Println(utf8.RuneStart(buf[1])) fmt.Println(utf8.RuneStart(buf[2]))}
func Valid(p []byte) bool
有效报告 p 是否完全由有效的 UTF-8 编码符文组成。
package mainimport ("fmt""unicode/utf8")func main() { valid := []byte("Hello, 世界") invalid := []byte{0xff, 0xfe, 0xfd} fmt.Println(utf8.Valid(valid)) fmt.Println(utf8.Valid(invalid))}
func ValidRune(r rune) bool
ValidRune 报告 r 是否可以合法编码为 UTF-8 。超出范围或代理一半的代码点是非法的。
package mainimport ("fmt""unicode/utf8")func main() { valid := 'a' invalid := rune(0xfffffff) fmt.Println(utf8.ValidRune(valid)) fmt.Println(utf8.ValidRune(invalid))}
func ValidString(s string) bool
ValidString 报告 s 是否完全由有效的 UTF-8 编码符文组成。
package mainimport ("fmt""unicode/utf8")func main() { valid := "Hello, 世界" invalid := string([]byte{0xff, 0xfe, 0xfd}) fmt.Println(utf8.ValidString(valid)) fmt.Println(utf8.ValidString(invalid))}