Go 普通指针类型、unsafe.Pointer、uintptr之间的关系


Golang指针

  • *类型:普通指针类型,用于传递对象地址,不能进行指针运算。
  • unsafe.Pointer:通用指针类型,用于转换不同类型的指针,不能进行指针运算,不能读取内存存储的值(必须转换到某一类型的普通指针)。
  • uintptr:用于指针运算,GC 不把 uintptr 当指针,uintptr 无法持有对象。uintptr 类型的目标会被回收。

unsafe.Pointer 是桥梁,可以让任意类型的指针实现相互转换,也可以将任意类型的指针转换为 uintptr 进行指针运算。
unsafe.Pointer 不能参与指针运算,比如你要在某个指针地址上加上一个偏移量,Pointer是不能做这个运算的,那么谁可以呢?

就是uintptr类型了,只要将Pointer类型转换成uintptr类型,做完加减法后,转换成Pointer,通过*操作,取值,修改值,随意。

 总结:unsafe.Pointer 可以让你的变量在不同的普通指针类型转来转去,也就是表示为任意可寻址的指针类型。而 uintptr 常用于与 unsafe.Pointer 打配合,用于做指针运算。

 

unsafe.Pointer

unsafe.Pointer称为通用指针,官方文档对该类型有四个重要描述:
(1)任何类型的指针都可以被转化为Pointer
(2)Pointer可以被转化为任何类型的指针
(3)uintptr可以被转化为Pointer
(4)Pointer可以被转化为uintptr
unsafe.Pointer是特别定义的一种指针类型(译注:类似C语言中的void类型的指针),在golang中是用于各种指针相互转换的桥梁,它可以包含任意类型变量的地址。
当然,我们不可以直接通过*p来获取unsafe.Pointer指针指向的真实变量的值,因为我们并不知道变量的具体类型。
和普通指针一样,unsafe.Pointer指针也是可以比较的,并且支持和nil常量比较判断是否为空指针。

 

uintptr

uintptr是一个整数类型。

// uintptr is an integer type that is large enough to hold the bit pattern of
// any pointer.
type uintptr uintptr

 

即使uintptr变量仍然有效,由uintptr变量表示的地址处的数据也可能被GC回收,这个需要注意!。

 

unsafe包

unsafe包只有两个类型,三个函数,但是功能很强大。

type ArbitraryType int
type Pointer *ArbitraryType
func Sizeof(x ArbitraryType) uintptr
func Offsetof(x ArbitraryType) uintptr
func Alignof(x ArbitraryType) uintptr

ArbitraryType是int的一个别名,在Go中对ArbitraryType赋予特殊的意义。代表一个任意Go表达式类型。
Pointer是int指针类型的一个别名,在Go中可以把Pointer类型,理解成任何指针的父类型。

三个函数的参数均是ArbitraryType类型,就是接受任何类型的变量。

unsafe.Sizeof接受任意类型的值(表达式),返回其占用的字节数,这和c语言里面不同,c语言里面sizeof函数的参数是类型,而这里是一个表达式,比如一个变量。
unsafe.Offsetof:返回结构体中元素所在内存的偏移量。
Alignof返回变量对齐字节数量Offsetof返回变量指定属性的偏移量,这个函数虽然接收的是任何类型的变量,但是有一个前提,就是变量要是一个struct类型,且还不能直接将这个struct类型的变量当作参数,只能将这个struct类型变量的属性当作参数。

关于这三个函数和内存对齐可以看看这篇文章:go语言内存对齐

unsafe.pointer用于普通指针类型转换

package main

import (
    "fmt"
    "reflect"
    "unsafe"
)

func main() {

    v1 := uint(12)
    v2 := int(13)

    fmt.Println(reflect.TypeOf(v1)) //uint
    fmt.Println(reflect.TypeOf(v2)) //int

    fmt.Println(reflect.TypeOf(&v1)) //*uint
    fmt.Println(reflect.TypeOf(&v2)) //*int

    p := &v1
    p = (*uint)(unsafe.Pointer(&v2)) //使用unsafe.Pointer进行类型的转换

    fmt.Println(reflect.TypeOf(p)) // *unit
    fmt.Println(*p) //13
}

unsafe.pointer用于访问操作结构体的私有变量

利用unsafe包,可操作私有变量(在golang中称为“未导出变量”,变量名以小写字母开始),下面是具体例子。

在$GOPATH/src下建立poit包,并在poit下建立子包p,目录结构如下:

$GOPATH/src

----poit

--------p

------------v.go
--------main.go

以下是v.go的代码:

package p

import (
    "fmt"
)

type V struct {
    i int32
    j int64
}

func (this V) PutI() {
    fmt.Printf("i=%d\n", this.i)
}

func (this V) PutJ() {
    fmt.Printf("j=%d\n", this.j)
}

意图很明显,我是想通过unsafe包来实现对V的成员i和j赋值,然后通过PutI()和PutJ()来打印观察输出结果。

以下是main.go源代码:

package main

import (

    "poit/p"
    "unsafe"
)

func main() {
    var v *p.V = new(p.V)
    var i *int32 = (*int32)(unsafe.Pointer(v))
    *i = int32(98)
    var j *int64 = (*int64)(unsafe.Pointer(uintptr(unsafe.Pointer(v)) + uintptr(unsafe.Sizeof(int32(0)))))
    *j = int64(763)
    v.PutI()
    v.PutJ()
} 

当然会有些限制,比如需要知道结构体V的成员布局,要修改的成员大小以及成员的偏移量。我们的核心思想就是:结构体的成员在内存中的分配是一段连续的内存,结构体中第一个成员的地址就是这个结构体的地址,您也可以认为是相对于这个结构体偏移了0。相同的,这个结构体中的任一成员都可以相对于这个结构体的偏移来计算出它在内存中的绝对地址。

具体来讲解下main方法的实现:

var v *p.V = new(p.V)

 

new是golang的内置方法,用来分配一段内存(会按类型的零值来清零),并返回一个指针。所以v就是类型为p.V的一个指针。

var i *int32 = (*int32)(unsafe.Pointer(v))

 

将指针v转成通用指针,再转成int32指针。这里就看到了unsafe.Pointer的作用了,您不能直接将v转成int32类型的指针,那样将会panic。刚才说了v的地址其实就是它的第一个成员的地址,所以这个i就很显然指向了v的成员i,通过给i赋值就相当于给v.i赋值了,但是别忘了i只是个指针,要赋值得解引用。

*i = int32(98) 

现在已经成功的改变了v的私有成员i的值,好开心^_^

但是对于v.j来说,怎么来得到它在内存中的地址呢?其实我们可以获取它相对于v的偏移量(unsafe.Sizeof可以为我们做这个事),但我上面的代码并没有这样去实现。各位别急,一步步来。

var j *int64 = (*int64)(unsafe.Pointer(uintptr(unsafe.Pointer(v)) + uintptr(unsafe.Sizeof(int32(0)))))

其实我们已经知道v是有两个成员的,包括i和j,并且在定义中,i位于j的前面,而i是int32类型,也就是说i占4个字节。所以j是相对于v偏移了4个字节。您可以用uintptr(4)或uintptr(unsafe.Sizeof(int32(0)))来做这个事。unsafe.Sizeof方法用来得到一个值应该占用多少个字节空间。注意这里跟C的用法不一样,C是直接传入类型,而golang是传入值。之所以转成uintptr类型是因为需要做指针运算。v的地址加上j相对于v的偏移地址,也就得到了v.j在内存中的绝对地址,别忘了j的类型是int64,所以现在的j就是一个指向v.j的指针,接下来给它赋值:

*j = int64(763)

好吧,现在貌视一切就绪了,来打印下:

v.PutI()
v.PutJ()

如果您看到了正确的输出,那恭喜您,您做到了!

但是,别忘了上面的代码其实是有一些问题的,您发现了吗?

在p目录下新建w.go文件,代码如下:

package p

import (
    "fmt"
    "unsafe"
)

type W struct {
    b byte
    i int32
    j int64
}

func init() {
    var w *W = new(W)
    fmt.Printf("size=%d\n", unsafe.Sizeof(*w))
}

需要修改main.go的代码吗?不需要,我们只是来测试一下。w.go里定义了一个特殊方法init,它会在导入p包时自动执行,别忘了我们有在main.go里导入p包。每个包都可定义多个init方法,它们会在包被导入时自动执行(在执行main方法前被执行,通常用于初始化工作),但是,最好在一个包中只定义一个init方法,否则您或许会很难预期它的行为)。我们来看下它的输出:

size=16

等等,好像跟我们想像的不一致。来手动计算一下:b是byte类型,占1个字节;i是int32类型,占4个字节;j是int64类型,占8个字节,1+4+8=13。这是怎么回事呢?这是因为发生了对齐。在struct中,它的对齐值是它的成员中的最大对齐值。每个成员类型都有它的对齐值,可以用unsafe.Alignof方法来计算,比如unsafe.Alignof(w.b)就可以得到b在w中的对齐值。同理,我们可以计算出w.b的对齐值是1,w.i的对齐值是4,w.j的对齐值也是4。如果您认为w.j的对齐值是8那就错了,所以我们前面的代码能正确执行(试想一下,如果w.j的对齐值是8,那前面的赋值代码就有问题了。也就是说前面的赋值中,如果v.j的对齐值是8,那么v.i跟v.j之间应该有4个字节的填充。所以得到正确的对齐值是很重要的)。对齐值最小是1,这是因为存储单元是以字节为单位。所以b就在w的首地址,而i的对齐值是4,它的存储地址必须是4的倍数,因此,在b和i的中间有3个填充,同理j也需要对齐,但因为i和j之间不需要填充,所以w的Sizeof值应该是13+3=16。如果要通过unsafe来对w的三个私有成员赋值,b的赋值同前,而i的赋值则需要跳过3个字节,也就是计算偏移量的时候多跳过3个字节,同理j的偏移可以通过简单的数学运算就能得到。
比如也可以通过unsafe来灵活取值:

package main
import (
    "fmt"
    "unsafe"
)
func main() {
    var b []byte = []byte{'a', 'b', 'c'}
    var c *byte = &b[0]
    fmt.Println(*(*byte)(unsafe.Pointer(uintptr(unsafe.Pointer(c)) + uintptr(1))))
}

下面这种写法是错的(不要试图引入一个uintptr类型的临时变量,因为它可能会破坏代码的安全性(注:这是真正可以体会unsafe包为何不安全的例子)):

// NOTE: subtly incorrect!
tmp := uintptr(unsafe.Pointer(c)) + uintptr(1)
pb := (*byte)(unsafe.Pointer(tmp))
*pb = 'd'

产生错误的原因很微妙。**有时候垃圾回收器会移动一些变量以降低内存碎片等问题。这类垃圾回收器被称为移动GC。当一个变量被移动,所有的保存改变量旧地址的指针必须同时被更新为变量移动后的新地址。从垃圾收集器的视角来看,一个unsafe.Pointer是一个指向变量的指针,因此当变量被移动是对应的指针也必须被更新;但是uintptr类型的临时变量只是一个普通的数字,所以其值不应该被改变。上面错误的代码因为引入一个非指针的临时变量tmp,导致垃圾收集器无法正确识别这个是一个指向变量x的指针。当第二个语句执行时,变量x可能已经被转移,这时候临时变量tmp也就不再是现在的&x.b地址。**第三个向之前无效地址空间的赋值语句将彻底摧毁整个程序!

refer:

Go之unsafe.Pointer && uintptr 类型

Go语言 unsafe的妙用

posted @ 2020-04-11 21:49  -零  阅读(9803)  评论(2编辑  收藏  举报