0%

String In Go

在Go里面,字符串实际上是类型为byte的只读切片。

一个字符串包含了任意个byte。它并不限定Unicode,UTF-8或者任何其他预定义的编码。在内容上,它完全等价于一个类型为byte的切片。

下面是一个字符串变量,它使用\xNN这样的形式来表示一些特殊的byte。

1
const sample = "\xbd\xb2\x3d\xbc\x20\xe2\x8c\x98"

打印字符串

在上面的例子中,有一些byte并不是ASCII码,甚至也不是UTF-8编码,直接打印出来会出现乱码

1
2
3
4
fmt.Println(sample)

// ��=� ⌘
// 这个结果和程序执行的环境有关

要了解这个字符串究竟是什么,我们需要把它分开来检查一下。正如上面提到的,索引一个字符串,得到的是byte,而不是字符。

使用for循环遍历所有的字节。

1
2
3
4
5
for i := 0; i <len(sample); i++ {
fmt.Printf("%x ", sample[i])
}

// bd b2 3d bc 20 e2 8c 98

下面一种更简单的打印方式。

1
2
3
fmt.Printf("%x\n", sample)

// bdb23dbc20e28c98

还有一个打印的小技巧。
1
2
3
fmt.Printf("% x\n", sample)

// bd b2 3d bc 20 e2 8c 98

还有一些小技巧。使用q标识,可以将字符串中任何不可打印的字节序列转义。
1
2
3
fmt.Printf("%q\n", sample)

// \xbd\xb2=\xbc ⌘

仔细观察,在一堆乱码中我们可以看到一个’=’号和一个空格符号,最后面是瑞典表示“名胜古迹”的符号,这个符号的Unicode值为U+2318,UTF-8编码为”e28c98”。

如果不熟悉字符串中奇怪的字符,可以在打印的时候使用”+q”标识,这个标识采用UTF-8编码,它不仅会转义不可打印的字节序列,还会转义非ASCII码的字节。下面的代码将字符串中非ASCII数据对应的Unicode值打印出来。字符串中的瑞典字符作为Unicode字符,打印出来带有\u的转义符。

1
2
3
fmt.Printf("%+q\n", sample)

// "\xbd\xb2=\xbc \u2318"

这些打印的小技巧在调试字符串内容的时候很有用,并且会方便下面的讨论。值得注意的是,上面的小技巧对于byte的切片一样适用。

UTF-8和字符串

正如我们看到的,索引一个字符串返回的是byte,而不是字符:一个字符串就是一堆字节。这意味着,当我们将字符存储在字符串中时,实际存储的是这个字符的字节。来看一个例子。

下面的程序用三种不同的方式打印一个字符串常量,一次作为纯字符串,一次作为只有ASCII的字符串,一次作为16进制的字节。为了避免混淆,创建一个“原始字符串”,用反括号括起来,因此它只包含文本。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
func main() {
const placeOfInterest = `⌘`
fmt.Printf("plain string: ")
fmt.Printf("%s", placeOfInterest)
fmt.Printf("\n")

fmt.Printf("quoted string: ")
fmt.Printf("%+q", placeOfInterest)
fmt.Printf("\n")

fmt.Printf("hex bytes: ")
for i := 0; i < len(placeOfInterest); i++ {
fmt.Printf("%x ", placeOfInterest[i])
}
fmt.Printf("\n")
}

// plain string: ⌘
// quoted string: "\u2318"
// hex bytes: e2 8c 98

上面的例子告诉我们,Unicode字符值U+2318,名胜古迹符号”⌘”的字节表示为”e2 8c 98”,这些字节是16进制值”2318”的UTF-8编码。

Go语言中的源代码定义为UTF-8文本,不允许其他的表示。也就是说,在代码中写下字符时,用于创建程序的文本编辑器将符号⌘的UTF-8编码放入源文本中。当打印16进制字节时,我们只是将文件中的数据打印出来。

简单来说,Go源码是UTF-8,因此字符串文字的源代码是UTF-8文本。如果该字符串文字不包含转义序列,构造的字符串将精确保存引号之间的源文本。因此,通过定义和构造,原始字符串将总是包含其内容的有效UTF-8表示。类似的,除非它包含类似上面例子中的UTF-8拆分转义,否则常规字符串字面值也将始终包含有效的UTF-8。

有些人认为Go字符串总是UTF-8,但是不是这样:只有字符串字面量是UTF-8。正如上面所示,字符串值可以包含任意字节,只要没有字节级转义,字符串文字总是包含UTF-8文本。

总而言之,字符串可以包含任意字节,但是当从字符串文字构造时,这些字节(几乎总是)是UTF-8。

字节点,字符和rune

我们一直非常小心地使用“字节”和“字符”这样说法。这部分是因为字符串中保存了字节,还有部分是因为“字符”的概念有点难以定义。Unicode标准使用术语“代码点”来用单个值表示一个字符。比如具有16进制值2318的代码点,U+2318表示符号⌘。

举一个更普遍的例子,Unicode代码点U+0061表示小写拉丁字母’A’:a。但是小写的重音字母’A’: à怎么表示呢?这是一个字符,它可以用代码点U+00E0表示,但也有其它表示。例如,可以“组合”严重重音代码点U+0300,并将其附加到小写字母a,U+0061,以创建字符à。通常情况下,字符可以由多个不同的代码点序列表示,由此可以用不同的UTF-8字节序列表示。

因此,计算中的字符概念是模糊的,至少是混乱的,所以我们需要谨慎地使用它。有规范化的技术来保证字符和代码点的映射,不过这个领域和本文讨论的内容相去甚远。

“代码点”这样的说法有点绕口,所以Go语言介绍了一个较短的术语概念:rune,符文。该术语出现字库和源代码中,和“代码点”表达的意思完全相同。还有一个有趣的补充。

Go语言将rune定义为int32类型的别名,因此在使用一个整型值表达一个“代码点”时,代码更加清晰。此外,一个你可能认为是字符常数在Go中是符文常数。’⌘’的类型和值分别是rune和0x2318。

总结一些前面的内容:

  • Go源码总是UTF-8
  • 一个字符串包含任意个byte
  • 字符串常量如果缺少字节级转义,将始终保持UTF-8序列。
  • Unicode的代码点在Go语言中被称为rune
  • Go不保证字符串中的字符是规范化的。

range循环

除了Go源码是UTF-8外,Go只提供一种方法特殊处理UTF-8,那就是在字符串上使用for range循环。我们已经知道使用for循环会发生什么了。

而一个range循环会在每次迭代时,解码一个UTF-8编码的符文。每次循环时,循环的索引是当前文字的起始位置,以字节为单位,代码点是它的值。

下面是一个使用%#U格式化的例子,它显示了代码点的Unicode值及其打印的表现形式。

1
2
3
4
5
6
7
8
const nihongo = "日本語"
for index, runeValue := range nihongo {
fmt.Printf("%#U starts at byte position %d\n", runeValue, index)
}

// U+65E5 '日' starts at byte position 0
// U+672C '本' starts at byte position 3
// U+8A9E '語' starts at byte position 6

中文字符相关

编码过程中避免不了中文字符,那我们该如何提取一个中文呢?
在Python中,我们有:

1
2
3
4
5
6
7
s = u"你好,中国"
print(len(s)) # 5
print(s[1]) # 打印'好'

s = "你好,中国"
print(len(s)) # 15
print(s[1]) # 打印的不是'好'

分析Python代码,我们可以看到,字符串前面加了u标识符,表示按照unicode方式索引,否则默认情况下按照索引得到的是字节索引(unicode下面中文用三个字节表示)。

同样我们知道string[index]获取的是字符byte,就无法像Python中通过加u前缀之后直接索引,在Go中需要将字符串转换成rune数组,runne数组中就可以通过数组下标获取一个汉字所标识的Unicode码,再将Unicode码按创建成字符串即可。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
func main() {
s := "hello,中国"
fmt.Println(len(s))


r := []rune(s)
r[6] = '美'
fmt.Println(len(r))

e := string(r)
fmt.Println(e)
}
// 14
// 8
// hello,美国

字符串的本质就是一个字节数组。在Go 语言里面字符串和字节数组可以相互进行显式转换,这一性质通常被用来“修改”字符串的内容。

因为Go 语言中的字符串是不可变的,也就是说 str[index] 这样的表达式是不可以被放在等号左侧的。如果尝试运行 str[i] = ‘D’会得到错误:cannot assign to str[i]。

因此必须先将字符串转换成字节数组(或者rune数组,对于中文等),然后再通过修改数组中的元素值来达到修改字符串的目的,最后将字节数组转换回字符串格式。

对于上面的例子也可以看到,需要统计中文字符串长度时,也需要转换成对应的rune数组

总结

回答文章刚开始时提出的问题:字符串是由字节构建的,所以索引它们返回字节,而不是字符。字符串甚至可能不包含字符。事实上,“字符”的定义是不明确的,尝试通过定义字符串由字符组成来解决歧义是一个错误。

关于Unicode,UTF-8和多语言文本处理,还有很多可以聊的。现在,我们希望您已经更好地了解Go字符串,尽管它们可能包含任意字节,但UTF-8是其设计的核心。