Python源码分析（二） - List对象

　　python中的高级特性之一就是内置了list,dict等。今天就先围绕列表（List）进行源码分析。

Python中的List对象（PyListObject）
　　Python中的的PyListObject是对列表的一个抽象，内置了插入、添加、删除等操作。不同List中存储的元素的个数会是不同的，所以PyListObject是一个变长对象。而PyListObject中支持插入删除等操作，可以在运行时动态地调整其所维护的内存和元素，所以它又是一个可变对象。

PyListObject的定义

在列表对象接口listobject.h中，PyListObject的定义是：

typedef struct {
PyObject_VAR_HEAD
PyObject **ob_item;

Py_ssize_t allocated;

其中，ob_item是指向了元素列表所在的内存块的首地址，allocated维护了当前列表中的可容纳的元素的总数。

　　我们知道，用户选用list正是为了可以频繁的执行插入或删除等操作，如果是需要存多少就申请多大的内存，这种内存管理显然是低效的。那么Python内部是怎么实现的呢？这就与刚才所提到的allocated有关了，我们知道，在PyObject_VAE_HEAD中有一个ob_size，在PyListObject中，每一次需要申请内存时，总会申请一大块内存存，这时申请的总内存的大小记录记录在allocated中，而其中实际被使用了的内存的数量则记录在ob_size中。

PyListObject对象的创建与维护

创建
　　在列表对象的实现文件listObject.c文件中，我们可以看到，Python对于创建一个列表，提供了唯一的一条途径，就是PyList_New（），对应的代码如下：

PyObject *
PyList_New(Py_ssize_t size)
{
PyListObject *op;
size_t nbytes;
#ifdef SHOW_ALLOC_COUNT
static int initialized = 0;
if (!initialized) {
Py_AtExit(show_alloc);
initialized = 1;
}
#endif

if (size < 0) {
PyErr_BadInternalCall();
return NULL;
}
//进行溢出检查
if ((size_t)size > PY_SIZE_MAX / sizeof(PyObject *))
return PyErr_NoMemory();
nbytes = size * sizeof(PyObject *);
//为PyListObject对象申请空间，使用到缓冲池技术
if (numfree) {
numfree--;
op = free_list[numfree];
_Py_NewReference((PyObject *)op);
#ifdef SHOW_ALLOC_COUNT
count_reuse++;
#endif
} else {
op = PyObject_GC_New(PyListObject, &PyList_Type);
if (op == NULL)
return NULL;
#ifdef SHOW_ALLOC_COUNT
count_alloc++;
#endif
}
//为PyListObject对象中维护的元素列表申请空间
if (size <= 0)
op->ob_item = NULL;
else {
op->ob_item = (PyObject **) PyMem_MALLOC(nbytes);
if (op->ob_item == NULL) {
Py_DECREF(op);
return PyErr_NoMemory();
}
memset(op->ob_item, 0, nbytes);
}
Py_SIZE(op) = size;
op->allocated = size;
_PyObject_GC_TRACK(op);
return (PyObject *) op;
}

　　首先，进行溢出检查。接下来，就是List对象的创建了，Python中的list对象实际上是分为两部分的，一是PyListObject对象本身，二是PyListObject对象维护的元素列表，而这两块内存是通过ob_item建立联系的。

　　在创建PyListObject对象时，首先检查缓冲池中free_list是否有可用的对象，如果有，则直接使用，若没有可用对象，则通过PyObject_GC_New在系统堆中申请内存，在Python2.7.12中，free_lists中最多维护80个PyListObject对象。

　　当创建了新的PyListObject对象之后，会根据调用PyList_New是传递的size参数创建ListObject对象所维护的元素列表。

设置元素

元素创建好了，下一步就是向元素中添加元素了,通过PyList_SetItem()实现：

int
PyList_SetItem(register PyObject *op, register Py_ssize_t i,
register PyObject *newitem)
{
register PyObject *olditem;
register PyObject **p;
if (!PyList_Check(op)) {
Py_XDECREF(newitem);
PyErr_BadInternalCall();
return -1;
}
//索引检查
if (i < 0 || i >= Py_SIZE(op)) {
Py_XDECREF(newitem);
PyErr_SetString(PyExc_IndexError,
"list assignment index out of range");
return -1;
}
//存放元素
p = ((PyListObject *)op) -> ob_item + i;
olditem = *p;
*p = newitem;
Py_XDECREF(olditem);
return 0;
}

　　首先，进行类型检查，然后进行索引的有效性检查，当类型检查和索引检查均通过的时候，就可以将待加入的Pyobject*指针放在指定的位置了。

插入元素

　　插入元素和设置元素的不同在于：设置元素不会将ob_item指向的内存发生变化，而插入内存可能会导致ob_item指向的内存发生变化。
比如：

a = [0, 0, 0, 0];
a[2] = 3;
print a
[0, 0, 3, 0]
a.insert(2,3)
[0,0,2,3,0]

　　这个插入动作确实导致了元素列表的内存发生变化。关于插入，在列表中有两种操作：insert()和append()。

　　insert通过调用PyList_Insert()方法来完成元素的插入动作，首先判断PyListObject对象有足够的内存容纳我们期望插入的元素，然后调用list_resize()函数调整列表容量，确定插入点，插入元素。
　　在调整PyListObject对象所维护对象的内存时，Python使用了两种方法：
1. 当newsize < allocated && newsize > allocated/2 时，简单调整ob_size;
2. 调用realloc,重新分配空间。
　　append是通过调用PyList_Append()方法，在第ob_size+1个位置上插入。

删除元素
　　对于一个容器而言，除了创建，插入这些操作，肯定是还得有删除操作的。

remove()
a = [1, 2, 3, 4]
print a.remove(3)
[1, 2, 4]

　　remove()调用了listremove操作。Python会对整个列表进行遍历，将待删除的元素与PyListObject中的每个元素一一比较，比较操作通过PyObject_RichCompareBool完成，当返回值大于0，则表示列表中有和待删元素匹配的元素，则Python发现之后调用list_ass_slice删除该元素。

PyListObject对象缓冲池

　　在这之前，我们学习到，在创建PyListObject对象时，会首先检查缓冲区中的free_lists中是否有可用的对象。
　　在创建一个新的的对象时，实际也是分为两部，首先创建PyListObject对象，然后创建PyListObject对象所维护的元素列表，与之对应，在销毁一个list时，销毁的过程也是分离的，首先销毁PyListObject所维护的元素列表，然后释放PyListObject对象自身。。
　　在删除PylsitObject对象自身时，Python会先检查我们开始提到的那个缓冲池free_list，查看其中缓存的PyListObject的数量是否已经满了，如果没有，就将待删除的PyListObject对象放到缓冲池中，以备后用。
　　因此，那个在Python启动时空荡荡的缓冲池原来都是被本应该死去的PyListObject对象给填充了，在以后需要创建新的PyListObject的时候，Python会首先唤醒这些对象，重新分配Pyobject*元素列表占用的内存，重新拥抱新的对象。