【转载】 使用Python的ctypes查看内存

 

 

 

 

 

===================================================================

 

 

原文地址：

https://zhuanlan.zhihu.com/p/124994344

 

 

 

 

Python是很高层的语言，本身没有像C那样的“指针”的概念，文档里涉及到指针的，基本都是"CPython implementation detail"。CPython本身是用C写的，所以肯定也是有“指针”的，这里看看怎么用Python的ctypes来查看内存。

 

 

 

NULL Access

在C里，有各种方式可以把一个程序弄崩溃，最经典的应该就是访问空指针了。在Python里访问一个空指针会怎么样呢？这里，把0强制类型转换成一个指向char的指针，然后访问这个char。

 

 

C：

char *p = NULL;
*p = 1;

 

不同的系统，不同的编译器，甚至不同的编译选项，上面两句的结果大概率是不尽相同的，也就是"undefined behavior"。

 

 

 

 

 

Python：

>>> from ctypes import *
>>> p = cast(0, POINTER(c_char))
>>> p.contents
Traceback (most recent call last):
  File "<pyshell#3>", line 1, in <module>
    p.contents
ValueError: NULL pointer access

 

 

 

这里，c_char对应C里的char类型，POINTER对应C里的指针，POINTER(c_char)对应的就是C里的char*了，指向char的指针类型。 cast对应C里的强制类型转换，这里是把0转成char*，大概就是C里的char *p = NULL了。

 

 

p.contents 是访问p指向的内容，p是个空指针，果然报错了 ，NULL pointer access。

 

 

 

 

 

 

Dump一个字节

CPython的实现里，是把一层层的结构体往上套，从数据层面实现类似继承的效果。每个对象的“基类”都是PyObject。看源码里的object.h

 

typedef struct _object {
    _PyObject_HEAD_EXTRA
    Py_ssize_t ob_refcnt;
    struct _typeobject *ob_type;
} PyObject;

/* PyObject_HEAD defines the initial segment of every PyObject. */
#define PyObject_HEAD                   PyObject ob_base;

 

 

第零个数据在发布版的CPython里是没有的，这里忽略。第一个，ob_refcnt，是当前引用计数的数量。第二个，*ob_type是该PyObject对应的type对象指针，也就是类型对象。这里已经包含了非常多的信息，例如：

  • CPython使用引用计数管理对象生命周期；
  • 虽然没有指针，但也可以说所有的变量都是类似std::shared_ptr的“指针”；
  • 对某个对象的操作，会转发给对应的类型对象，例如所有的int对象，其*ob_type大概是同一个。
  • 所有的对象的头部都是一个ob_base，PyObject是类似最顶端的“基类”的存在。

 

 

幸运的是，Python有个叫id的函数，在CPython里，返回的就是PyObject（的“派生类”的对象）的内存地址，我们利用这个信息来看看ob_refcnt的值的变化情况。

>>> a = 12345678
>>> id(a)
2126985143664
>>> p = cast(id(a), POINTER(c_char))
>>> p.contents
c_char(b'\x01')
>>> b = a
>>> p.contents
c_char(b'\x02')
>>> c = a
>>> p.contents
c_char(b'\x03')
>>> del b
>>> p.contents
c_char(b'\x02')
>>> del c
>>> p.contents
c_char(b'\x01')

 

 

可以看到，引用每增加一个，refcnt的第一个字节就加1；引用每减少一个，refcnt的第一个字节就减1。我用的是window系统，整数是小端存储，先存储低位字节，所以恰好引用数量的变化反映在了refcnt的第一个字节上。

 

 

 

 

 

Dump一片内存

一个字节一个字节的看，有点慢，使用ctypes里的数组可以看成片的内存。

>>> from ctypes import *
>>> a = 1234.5678
>>> p = cast(id(a), POINTER(c_char * 32))
>>> p.contents.raw
b'\x01\x00\x00\x00\x00\x00\x00\x00\xb0$\xa0\x11\xff\x7f\x00\x00\xad\xfa\\mEJ\x93@T\xd1\xcc0\x00\x00\x00\x00'

 

 

这里和上面的区别，最主要的就是，原来的c_char变成了c_char * 32，就是变成了一个有32个元素组成的c_char数组，对应C里的char[32]。然后用POINTER包一下，这样，POINTER(c_char * 32)就对应C里的char (*p)[32]。

 

p.contents对应char[32]数组，而p.contents.raw 直接就是Python里的一串bytes了，这就是实际的内存内容。

 

封装成几个好看点的函数。

import ctypes

def print_bytes(bs):
    for i, b in enumerate(bs):
        if i % 8 == 0 and i != 0:
            print(' ', end='')
        if i % 16 == 0 and i != 0:
            print()
        print('{:02X} '.format(b), end='')
    print('\n')

def dump_mem(address, size):
    p = ctypes.cast(address, ctypes.POINTER(ctypes.c_char * size))
    return p.contents.raw

def print_mem(address, size):
    mem = dump_mem(address, size)
    print_bytes(mem)

def print_obj(obj, size):
    print_mem(id(obj), size)

 

 

然后试一试。

>>> print_obj(1, 32)
35 03 00 00 00 00 00 00  10 3D A0 11 FF 7F 00 00  
01 00 00 00 00 00 00 00  01 00 00 00 00 00 00 00 
>>> print_obj(0xABCDEF, 32)
03 00 00 00 00 00 00 00  10 3D A0 11 FF 7F 00 00  
01 00 00 00 00 00 00 00  EF CD AB 00 68 02 00 00

 

对于Python的两个int对象，可以看到，第一组8字节，是索引数量，可见索引数字1的有非常多，索引0xABCDEF的就没几个了。第二组8字节，是一模一样的，这里就是int的type object的地址，也就是PyObject里的*ob_type 。

 

>>> hex(id(int))
'0x7fff11a03d10'

 

int对象的type object，显然就是"int"了，可见地址果然完全对的上。

 

 

 

 

 

浮点数表示

Python3的int还是过于复杂了点，浮点数float相比之下就直接不少，这里再看看Python的浮点数表示。不妨先看CPython的源码，floatobject.h

 

typedef struct {
    PyObject_HEAD
    double ob_fval;
} PyFloatObject;

 

可见，相当于继承了PyObject，并且加了个double，ob_fval，这是浮点数实际的值，存在了一个C double里。

 

 

>>> print_obj(3.1415926, 8 * 3)
03 00 00 00 00 00 00 00  B0 24 A0 11 FF 7F 00 00  
4A D8 12 4D FB 21 09 40 

>>> print_obj(1234.5678, 8 * 3)
03 00 00 00 00 00 00 00  B0 24 A0 11 FF 7F 00 00  
AD FA 5C 6D 45 4A 93 40 

>>> hex(id(float))
'0x7fff11a024b0'

 

 

类似int，不过这里就更加一目了然了，第三组8字节就是C double，就是Python float值，就是在内存里的表示。

 

 

可以再用Python库里的array再确认一下，array类似C++里的std::vector。array.array('d')相当于std::vector<double>。

>>> import array
>>> arr = array.array('d')
>>> arr.append(3.1415926)
>>> arr.append(1234.5678)
>>> arr
array('d', [3.1415926, 1234.5678])
>>> arr.buffer_info()
(2649580275632, 2)

 

 

buffer_info函数，返回了实际存储数组的内存的地址，和元素数量。看下这串内存：

>>> address, cnt = arr.buffer_info()
>>> print_mem(address, arr.itemsize * cnt)
4A D8 12 4D FB 21 09 40  AD FA 5C 6D 45 4A 93 40

 

可见，与本小节开头的结果完全对应。这个buffer_info可以用来和C做接口，非常有用。

 

 

 

 

 

 

其他

引用计数

sys.getrefcount是正常的获取引用计数的函数。gc.get_referrers可以看到底哪些东西引用着目标。

 

看内存的refcnt，感觉总是稍微大了一点，其实是有原因的。例如，编译后的code object也引用了一份：

>>> def f():
	a = 1234.5678
	print(sys.getrefcount(a))
	print(gc.get_referrers(a))


>>> f()
3
[(None, 1234.5678)]
>>> f.__code__.co_consts
(None, 1234.5678)

 

这个3，我猜，分别是co_consts，a，和sys.getrefcount的parameter。

 

 

 

 

 

 

immutable

像C里面，通过指针改一个int的值大多是很正常的操作，在Python里面就完全不ok了，因为Python里的int是immutable的。a += 1在Python里创建了一个拥有新的值的新对象，原来的a已经不见了。 如果用指针强行把值改变，大概会出现完全不对的情况。

 

>>> a = 10
>>> print_mem(id(a), 32)
3E 00 00 00 00 00 00 00  10 3D A0 11 FF 7F 00 00  
01 00 00 00 00 00 00 00  0A 00 00 00 00 00 00 00 

>>> cast(id(a) + 8 * 3, POINTER(c_char)).contents
c_char(b'\n')
>>> cast(id(a) + 8 * 3, POINTER(c_char)).contents.value
b'\n'
>>> cast(id(a) + 8 * 3, POINTER(c_char)).contents.value = 11
>>> a
11

 

到这里看上去还算正常，但是，此10非彼10了：

>>> b = 10
>>> b
11

 

大量的10，变成了11。（因为整数是immutable的，小整数会被cache起来，不会每次都新建一个对象。）当然，操作array.array('i')里的应该没关系。

 

posted on 2021-07-21 14:31  Angry_Panda  阅读(582)  评论(0)    收藏  举报

导航