1. 项目概述从C语言视角切入CPython源码如果你和我一样对Python的运行机制充满好奇不止步于“知其然”更想“知其所以然”那么直接阅读CPython的源码无疑是最佳路径。但面对数百万行代码从哪里开始我的经验是从最基础、最核心的数据结构入手而整数对象int就是那个完美的起点。它看似简单却是理解Python对象模型、内存管理和解释器核心机制的绝佳窗口。本次学习聚焦于CPython 3.7.9版本我们将以“整数对象”为解剖案例但在此之前必须补上一块关键的拼图——C语言基础。很多朋友学Python出身对C可能有些生疏而CPython正是用C写的。不理解C语言中结构体、内存布局、指针操作这些概念读源码就像看天书。所以这不是一次单纯的源码走读而是一次结合C语言实战的深度探索。我们将一起看看一个简单的Python整数a 42在C语言层面是如何被精巧地构造、表示和管理的。这个过程会涉及Python对象系统的基石如PyObject、引用计数以及针对小整数的特殊优化策略。对于想深入理解Python、有志于参与解释器开发或编写高性能C扩展的开发者来说这是一次必不可少的底层之旅。2. 必备C语言基础精讲在打开Include/object.h和Include/longobject.h之前我们需要确保对几个关键的C语言概念了如指掌。这些概念是读懂CPython源码的“钥匙”。2.1 结构体struct与内存对齐Python中一切皆对象而在C层面每个对象都是一个结构体。结构体是不同类型变量的集合。// 一个简单的Point结构体示例 typedef struct { int x; int y; } Point;在CPython中最核心的结构体是PyObject它定义了所有Python对象的“头”。理解结构体不仅要懂定义更要懂它在内存中是如何布局的。这里就引出了内存对齐的概念。为了CPU高效访问编译器通常会将结构体成员放置在特定字节倍数的地址上。例如一个int通常4字节可能要求从4的倍数的地址开始存放。这会导致结构体内部可能存在“空洞”padding。使用sizeof(Point)和offsetof(Point, y)可以查看结构体总大小和成员偏移量这对于理解Python对象头的大小至关重要。注意在分析PyObject及其变体时内存对齐会影响结构体的大小。CPython的源码中经常使用宏来确保跨平台的一致性例如PyObject_HEAD宏就封装了对象头的基本结构。2.2 指针pointer与类型转换指针是C语言的灵魂也是理解Python引用机制的关键。指针存储的是内存地址。int value 42; int *ptr value; // ptr指向value的地址 printf(“%d”, *ptr); // 通过ptr解引用输出42在CPython中你几乎看不到直接操作PyObject看到的都是PyObject *指向PyObject的指针。这是因为对象通常分配在堆上通过指针来传递和操作。Py_INCREF(op)和Py_DECREF(op)这两个用于管理引用计数的宏其参数op就是一个PyObject *。类型转换在源码中无处不在。由于C是静态类型语言而Python对象系统需要多态所以经常需要将一种类型的指针转换为另一种。这通过强制类型转换实现PyObject *obj ...; PyLongObject *long_obj (PyLongObject *)obj; // 强制类型转换这种转换的安全性基于一个前提你确信obj确实指向一个PyLongObject实例。CPython通过对象的ob_type字段来确保这一点。2.3 宏macro与条件编译CPython源码中充斥着大量的宏它们用于代码抽象、平台适配和性能优化。宏是预处理器进行的文本替换。#define PyObject_HEAD PyObject ob_base; // 在代码中展开后相当于插入了 PyObject ob_base; 这行PyObject_HEAD和PyObject_VAR_HEAD是两个最重要的宏它们定义了所有定长和变长对象的公共头部。阅读源码时你需要有“展开宏”的能力。现代IDE通常支持查看宏定义也可以直接去Include/object.h中查找。条件编译#ifdef,#ifndef,#endif让CPython能够处理不同操作系统Windows/Linux/macOS、不同编译器MSVC/gcc和不同特性如调试模式Py_DEBUG的差异。当你看到同一段代码有多个版本时不要困惑这是为了跨平台兼容性。2.4 内存管理基础malloc/freePython自动管理内存但其底层是C最终离不开手动管理。CPython的内存管理是一个复杂的多层系统但最底层依然调用C标准库的malloc()和free()。// 分配一个PyObject大小的内存 PyObject *obj (PyObject *)malloc(sizeof(PyObject)); if (obj NULL) { // 处理内存分配失败 } // ... 使用obj ... free(obj); // 释放内存当然CPython实际使用自己封装的内存分配器PyMem_Malloc等它提供了更好的调试支持和内存池优化但原理相通。理解malloc/free有助于你明白Python对象何时在堆上诞生以及为何需要引用计数来追踪其生命周期。3. Python对象模型基石PyObject现在让我们正式进入CPython的世界。一切Python对象的起点都源于Include/object.h中定义的PyObject结构体。3.1 PyObject结构体定义解析让我们直接看源码基于3.7.9typedef struct _object { _PyObject_HEAD_EXTRA Py_ssize_t ob_refcnt; struct _typeobject *ob_type; } PyObject;逐项拆解_PyObject_HEAD_EXTRA这是一个宏在非调试版本Py_TRACE_REFS未定义下通常为空。在调试版本中它可能包含指向前一个和后一个对象的指针用于追踪所有活动对象方便调试内存泄漏。ob_refcnt引用计数类型为Py_ssize_t一个有符号的整数类型大小足以容纳指针。这是Python自动内存管理的核心。当一个对象的引用计数减为0时解释器就会回收其内存。Py_INCREF(op)使其加1Py_DECREF(op)使其减1并在为0时触发析构。ob_type一个指向_typeobject结构体的指针。这个字段决定了对象的“类型”它指向一个类型对象如PyLong_Type其中包含了该类型的所有元信息类型名、分配内存大小、各种标准操作如tp_print,tp_repr,tp_as_number等的函数指针。这实现了C层面的“多态”——通过ob_type找到对应类型的函数来执行操作。这就是Python“一切皆对象”的C语言表达。一个整数、一个字符串、一个列表在内存起始处都有这样一个相同的头部。这种设计允许解释器用统一的PyObject *指针来引用任何对象再通过ob_type来区分和进行具体操作。3.2 定长与变长对象PyVarObject并非所有对象大小都固定。比如元组tuple的长度是可变的。为此CPython引入了PyVarObject它在PyObject的基础上增加了一个ob_size字段。typedef struct { PyObject ob_base; Py_ssize_t ob_size; /* 可变长度对象中元素的数量 */ } PyVarObject;ob_size的含义取决于对象类型。对于元组或列表它表示元素个数对于字符串在Python 3中它表示Unicode字符的数量注意不等于字节数。PyObject和PyVarObject的关系体现了面向对象中“继承”的思想尽管C语言没有原生继承。PyVarObject“继承”了PyObject所有PyVarObject的指针也可以被当作PyObject *来使用。3.3 类型对象PyTypeObject初窥ob_type指向的PyTypeObject是一个极其庞大的结构体Include/cpython/object.h它描述了类型的方方面面可以看作是类型的“蓝图”或“元数据”。这里我们只关注与整数对象相关的几个关键字段typedef struct _typeobject { PyObject_VAR_HEAD // 注意类型对象本身也是一个变长对象 const char *tp_name; /* 类型名例如 “int” */ Py_ssize_t tp_basicsize, tp_itemsize; /* 分配内存时的大小信息 */ /* 函数指针集合 */ printfunc tp_print; getattrfunc tp_getattr; setattrfunc tp_setattr; ... /* 数字方法集 */ PyNumberMethods *tp_as_number; /* 序列方法集 */ PySequenceMethods *tp_as_sequence; /* 映射方法集 */ PyMappingMethods *tp_as_mapping; ... } PyTypeObject;tp_name类型的名称字符串。tp_basicsize和tp_itemsize告诉解释器分配内存时需要多少空间。对于定长对象如inttp_itemsize为0tp_basicsize就是对象大小。对于变长对象如tupletp_basicsize是固定头部大小tp_itemsize是每个元素的尺寸总大小 tp_basicsize n * tp_itemsize。tp_as_number等这些是方法族指针。它们指向另一个结构体该结构体内包含了一组针对特定协议的函数指针。例如tp_as_number指向PyNumberMethods里面包含了nb_add加法、nb_subtract减法等函数指针。当一个Python整数参与加法运算时解释器最终会调用PyLong_Type.tp_as_number-nb_add指向的C函数。理解PyTypeObject是理解Python动态性的关键。它使得在C语言层面实现一个高度动态、可交互的对象系统成为可能。4. 整数对象PyLongObject的深度解剖终于来到主角Python的整数对象在C中称为PyLongObject。在Python 3中int就是任意精度的长整数对应C的PyLongObject。4.1 PyLongObject的结构定义定义位于Include/longobject.h和Objects/longobject.c。struct _longobject { PyObject_VAR_HEAD digit ob_digit[1]; };是的就这么简单但它蕴含了丰富的信息PyObject_VAR_HEAD这意味着PyLongObject是一个变长对象。为什么整数是变长的因为Python的int是任意精度的大整数需要动态长度的存储空间。digit ob_digit[1]这是一个“柔性数组”C99之前的一种惯用法。它声明了数组只有一个元素但在实际分配内存时会根据整数的大小分配足够多的digit单元。digit是底层存储的基本单元类型在pyport.h等文件中定义。在常见的32位平台上digit可能是30位或15位的无符号整数在64位平台上可能是30位或60位。这种设计是为了在运算效率和内存使用之间取得平衡并方便进行进位处理。一个Python整数如12345678901234567890在内存中被表示为以2^30或2^15,2^60为基数的数字系统中的一个数字数组存储在ob_digit里。ob_size字段来自PyVarObject在这里被赋予了新的含义它表示这个“数字数组”的长度并且其符号位决定了整数的正负。如果ob_size 0整数为正如果ob_size 0整数为负ob_size 0表示整数0。4.2 小整数对象池性能优化的艺术如果你创建a 1和b 1会发现a is b返回True。这引出了CPython一个著名的优化小整数对象池。CPython在初始化时会预先创建并缓存一个范围内默认是[-5, 256]的所有整数对象。当你需要一个在这个范围内的整数时解释器不会创建新的对象而是直接返回缓存对象的引用。这避免了频繁创建和销毁微小整数带来的性能开销也使得某些恒等比较is成立。这个池子的实现在Objects/longobject.c的_PyLong_Init函数中。它创建了一个静态的small_ints数组。当我们执行PyLong_FromLong(42)时函数内部会先检查参数是否在小整数范围内如果是则直接返回small_ints[42NSMALLNEGINTS]的引用。实操心得理解小整数池对于调试和编写高性能代码很重要。它解释了为什么256 is 256为真而257 is 257可能为假在交互式模式下由于代码块的优化可能仍为真但在函数中或分开赋值时通常为假。永远不要依赖is来比较整数的值应该使用。4.3 大整数的内存布局与创建过程对于超出小整数池范围的大整数CPython会动态分配内存。我们通过PyLong_FromLongLong这样的API来追踪其创建过程。计算所需digit数量根据传入的C长整型值的绝对值计算需要多少个digit单元来存储它。这涉及到位运算和除法。分配内存调用PyObject_MallocCPython的自定义分配器分配内存。分配的大小是sizeof(PyLongObject) (ndigits-1)*sizeof(digit)。注意这里减去了1因为结构体定义中已经包含了一个ob_digit[1]。这是C语言中实现“柔性数组”的经典技巧。初始化对象头设置ob_refcnt 1新对象ob_type PyLong_Type并根据正负和digit数量设置ob_size。填充digit数组将C整数的值按基数如2^30分解依次填入ob_digit数组。这是一个从低位到高位的填充过程。规范化这是一个关键步骤。函数会移除高位的、无意义的0 digit。例如一个数字实际只需要2个digit存储但可能分配了3个第三个是0就需要调整ob_size并可能收缩内存但CPython通常不会立即收缩以避免碎片化。这确保了整数对象的内部表示总是最简形式。这个过程体现了CPython在空间和时间上的权衡预先分配可能稍大的空间但保持内部表示的简洁性以优化后续运算如加法、乘法的速度。4.4 整数运算的底层实现当我们写c a b时在C层面发生了什么解释器会找到a和b的ob_type都是PyLong_Type然后通过tp_as_number找到nb_add函数指针。对于PyLong_Type这个函数是long_add。long_add函数在Objects/longobject.c中的大致逻辑如下参数检查与解包确保两个对象都是PyLongObject并获取它们的ob_size和ob_digit数组。选择算法根据两个操作数的大小ob_size的绝对值选择最有效的加法算法。对于非常小的数可能直接用C的long类型计算对于大数则使用多精度算术也叫“大数算术”算法。核心计算实现的是我们小学学的竖式加法但以2^30为基数。需要处理逐位相加、进位传播。代码中会有一个循环遍历两个数字的digit。结果构造计算可能产生一个新的digit数组长度可能比输入的最大长度多1因为可能有进位。然后调用_PyLong_New分配一个新的PyLongObject并用结果数组初始化它。返回结果返回新对象的指针。减法、乘法、除法的逻辑类似但更复杂。乘法可能会使用Karatsuba算法一种分治算法比朴素乘法更快来处理非常大的整数。除法则涉及更复杂的商和余数计算。注意事项Python的整数运算是溢出安全的但这是以性能为代价的。在C中int加法可能溢出产生未定义行为而Python的int加法总是返回精确结果。如果你在性能关键的循环中进行大量整数运算且知道数值范围有限考虑使用array模块的’i’类型或者使用numpy的固定宽度整数它们基于C类型速度更快。5. 核心API与源码追踪实战理论需要结合实践。让我们追踪一个简单的Python语句在C层面的完整路径并熟悉几个最常用的整数对象API。5.1 从Python到Ca 42的完整旅程在Python中写下a 42并执行词法分析与语法分析源代码被解析成抽象语法树AST。42被识别为一个数字字面量Num节点。编译为字节码编译器将AST转换为字节码。你可以用dis.dis(compile(‘a 42’, ‘string’, ‘exec’))查看。你会看到类似LOAD_CONST和STORE_NAME的指令。42作为一个常量被存储在代码对象的常量表co_consts中。解释执行Python虚拟机PVM执行字节码。LOAD_CONST 0从常量表索引0处加载常量。这个常量在编译时就已经被创建了。那么这个整数对象42是何时、如何创建的呢常量创建在编译阶段当遇到数字字面量42时编译器会调用PyLong_FromLong(42)来创建一个Python整数对象并将其放入常量表。因为42在小整数池范围内PyLong_FromLong会直接返回小整数池中缓存的对象的引用而不会创建新对象。赋值STORE_NAME指令将加载到栈顶的这个对象引用与名字’a’绑定在当前命名空间中。所以a 42在C层面核心是调用了PyLong_FromLong(42)并且由于小整数池a直接获得了池中那个永恒存在的42对象的引用。5.2 关键API函数解析PyObject* PyLong_FromLong(long ival) 这是最常用的从Clong创建Pythonint对象的函数。其内部逻辑我们已分析过检查小整数池 - 计算所需digit - 分配内存 - 填充digit - 返回对象指针。PyObject* PyLong_FromUnsignedLong(unsigned long ival) 类似但从无符号长整型创建。注意即使传入无符号数返回的Pythonint对象依然是有符号的只是其值是非负的。long PyLong_AsLong(PyObject *obj)和long PyLong_AsLongAndOverflow(PyObject *obj, int* overflow) 将Pythonint对象转换回Clong。这是非常危险的操作因为Pythonint可能远超Clong的范围例如在64位系统上Clong可能只有64位而Pythonint可以无限大。PyLong_AsLong如果转换溢出值超出LONG_MIN..LONG_MAX它会将错误标志PyErr_Occurred()置位并返回-1。但-1本身也可能是合法的转换结果比如int(-1)。因此必须在使用返回值前检查是否发生了错误if (PyErr_Occurred()) { /* 处理溢出错误 */ }。PyLong_AsLongAndOverflow更安全的版本。通过overflow输出参数告知调用者是否发生溢出1表示正溢出-1表示负溢出0表示正常。推荐使用这个函数。PyObject* PyLong_FromString(const char *str, char **pend, int base) 从字符串创建整数支持2-36进制。这是int(“0xff”, 16)和int(“1010”, 2)的底层实现。pend参数允许你获取字符串解析结束的位置base0表示根据字符串前缀自动判断如0x为16进制0o为8进制0b为2进制。5.3 在源码中定位与阅读如果你想亲自验证上述过程下载源码从Python官网下载CPython 3.7.9的源代码包。搜索入口在Python/ast.c中搜索Num相关的处理函数看常量是如何被创建的。在Python/ceval.c中搜索LOAD_CONST的实现TARGET(LOAD_CONST)。聚焦整数在Objects/longobject.c中找到PyLong_FromLong函数仔细阅读。使用IDE的“查找引用”功能看它在哪里被调用。理解宏在Include/longobject.h和Include/cpython/longobject.h中查看相关的宏定义如PyLong_Check快速检查对象是否为整数类型。阅读时准备好面对大量的宏和条件编译代码。不要试图一次性理解所有细节抓住主线对象创建、内存布局、核心运算。6. 常见问题与调试技巧在阅读和与整数对象打交道时你肯定会遇到一些坑。这里记录一些典型问题和排查思路。6.1 引用计数管理陷阱操作PyObject*时引用计数是头等大事。规则很简单当你拥有一个对象的引用时你需要负责在不再需要时减少它的引用计数。偷引用Stealing a reference有些函数如PyLong_FromLong返回一个新引用引用计数已为1。你需要负责在合适的时候Py_DECREF它。借用引用Borrowed reference有些函数如PyTuple_GetItem返回一个借用引用。你不能对其调用Py_DECREF因为你不拥有它。如果你需要长期持有必须调用Py_INCREF将其变为一个新引用。常见错误// 错误示例可能导致内存泄漏或崩溃 PyObject *list PyList_New(0); PyObject *num PyLong_FromLong(42); PyList_Append(list, num); // PyList_Append会“偷走”num的引用不它会增加num的引用计数。 // 如果这里不DECREF num那么除了list持有的引用外我们还多持有一个引用导致num永远无法被释放。 Py_DECREF(num); // 正确我们不再需要自己这个引用。实际上PyList_Append会Py_INCREF你传入的对象。所以上面的代码中我们创建了numrefcnt1PyList_Append后refcnt2我们Py_DECREFrefcnt1。此时list仍然持有该对象这是正确的。当list被销毁时它会对其所有元素调用Py_DECREF。更复杂的情况是“偷引用”约定。例如PyTuple_SetItem(tuple, index, item)会“偷走”item的引用它假定你传入的是一个新引用并且它接手这个引用的所有权之后你不应该再对item进行Py_DECREF。排查技巧使用sys.getrefcount(obj)在Python层面查看对象的引用计数注意这个调用本身会增加一个临时引用。在C扩展中可以在调试器里直接查看ob_refcnt字段。内存调试工具如valgrind或CPython自带的PYTHONMALLOCSTATS、tracemalloc模块也有助于发现内存泄漏。6.2 类型检查与错误处理在C扩展中你不能假设传入的参数一定是整数。必须进行检查。static PyObject* my_add(PyObject *self, PyObject *args) { PyObject *obj1, *obj2; if (!PyArg_ParseTuple(args, “OO”, obj1, obj2)) { return NULL; // 参数解析失败异常已设置 } // 方式1精确类型检查不推荐不符合Python鸭子类型 if (!PyLong_Check(obj1) || !PyLong_Check(obj2)) { PyErr_SetString(PyExc_TypeError, “arguments must be integers”); return NULL; } // 方式2尝试转换为long更友好 long a PyLong_AsLong(obj1); if (PyErr_Occurred()) { // 转换失败可能不是整数或者溢出 return NULL; // 异常已由PyLong_AsLong设置 } // ... 类似处理obj2 ... }PyLong_Check是一个宏快速检查对象是否是整数类型或整数子类型。PyLong_AsLong会进行更严格的检查并在失败时设置异常如TypeError或OverflowError。在C扩展中遇到错误时应返回NULL并确保异常已经设置PyErr_*函数。6.3 大整数运算的性能考量Python的任意精度整数很强大但性能开销不小。如果你需要处理大量数值计算使用内置类型对于循环内的计数器使用Pythonint完全没问题。小整数池和解释器优化会处理得很好。考虑array或numpy如果你处理的是大量已知范围的整数如图像像素值、传感器读数使用array.array(‘i’)或numpy.ndarray(dtypeint32)会快几个数量级。因为它们将数据存储在连续的、类型固定的C数组中避免了Python对象的开销和每次运算的类型检查、多精度计算。使用ctypes或Cython编写核心循环将最内层的、计算密集的循环用C或Cython重写可以大幅提升性能。6.4 调试CPython源码如果你想单步调试整数对象的创建过程编译调试版本在配置CPython时使用./configure --with-pydebug。这会启用大量调试检查如引用计数检查并禁用优化。使用GDB/LLDB在关键函数如PyLong_FromLong上设置断点。gdb python (gdb) break longobject.c:PyLong_FromLong (gdb) run -c “a 42”打印结构体在GDB中你可以使用p *(PyLongObject *)0x7ffff7fcd730来查看对象的内存布局需要先#include Python.h并加载调试符号。你可以看到ob_refcnt、ob_type和ob_size以及ob_digit数组的内容。理解CPython整数对象的实现不仅仅是学习一个数据结构更是打开了一扇通往Python解释器核心设计哲学的大门。它展示了如何用C语言构建一个动态、安全、高效的高级语言核心组件。当你再在Python中写下a 42时你看到的将不再是一个简单的数字而是一个精巧的、带有引用计数和类型信息的、可能来自全局缓存池的C结构体。这种深度的理解是进行高性能优化、编写稳健的C扩展、乃至参与CPython自身开发的基础。
1. 项目概述从C语言视角切入CPython源码如果你和我一样对Python的运行机制充满好奇不止步于“知其然”更想“知其所以然”那么直接阅读CPython的源码无疑是最佳路径。但面对数百万行代码从哪里开始我的经验是从最基础、最核心的数据结构入手而整数对象int就是那个完美的起点。它看似简单却是理解Python对象模型、内存管理和解释器核心机制的绝佳窗口。本次学习聚焦于CPython 3.7.9版本我们将以“整数对象”为解剖案例但在此之前必须补上一块关键的拼图——C语言基础。很多朋友学Python出身对C可能有些生疏而CPython正是用C写的。不理解C语言中结构体、内存布局、指针操作这些概念读源码就像看天书。所以这不是一次单纯的源码走读而是一次结合C语言实战的深度探索。我们将一起看看一个简单的Python整数a 42在C语言层面是如何被精巧地构造、表示和管理的。这个过程会涉及Python对象系统的基石如PyObject、引用计数以及针对小整数的特殊优化策略。对于想深入理解Python、有志于参与解释器开发或编写高性能C扩展的开发者来说这是一次必不可少的底层之旅。2. 必备C语言基础精讲在打开Include/object.h和Include/longobject.h之前我们需要确保对几个关键的C语言概念了如指掌。这些概念是读懂CPython源码的“钥匙”。2.1 结构体struct与内存对齐Python中一切皆对象而在C层面每个对象都是一个结构体。结构体是不同类型变量的集合。// 一个简单的Point结构体示例 typedef struct { int x; int y; } Point;在CPython中最核心的结构体是PyObject它定义了所有Python对象的“头”。理解结构体不仅要懂定义更要懂它在内存中是如何布局的。这里就引出了内存对齐的概念。为了CPU高效访问编译器通常会将结构体成员放置在特定字节倍数的地址上。例如一个int通常4字节可能要求从4的倍数的地址开始存放。这会导致结构体内部可能存在“空洞”padding。使用sizeof(Point)和offsetof(Point, y)可以查看结构体总大小和成员偏移量这对于理解Python对象头的大小至关重要。注意在分析PyObject及其变体时内存对齐会影响结构体的大小。CPython的源码中经常使用宏来确保跨平台的一致性例如PyObject_HEAD宏就封装了对象头的基本结构。2.2 指针pointer与类型转换指针是C语言的灵魂也是理解Python引用机制的关键。指针存储的是内存地址。int value 42; int *ptr value; // ptr指向value的地址 printf(“%d”, *ptr); // 通过ptr解引用输出42在CPython中你几乎看不到直接操作PyObject看到的都是PyObject *指向PyObject的指针。这是因为对象通常分配在堆上通过指针来传递和操作。Py_INCREF(op)和Py_DECREF(op)这两个用于管理引用计数的宏其参数op就是一个PyObject *。类型转换在源码中无处不在。由于C是静态类型语言而Python对象系统需要多态所以经常需要将一种类型的指针转换为另一种。这通过强制类型转换实现PyObject *obj ...; PyLongObject *long_obj (PyLongObject *)obj; // 强制类型转换这种转换的安全性基于一个前提你确信obj确实指向一个PyLongObject实例。CPython通过对象的ob_type字段来确保这一点。2.3 宏macro与条件编译CPython源码中充斥着大量的宏它们用于代码抽象、平台适配和性能优化。宏是预处理器进行的文本替换。#define PyObject_HEAD PyObject ob_base; // 在代码中展开后相当于插入了 PyObject ob_base; 这行PyObject_HEAD和PyObject_VAR_HEAD是两个最重要的宏它们定义了所有定长和变长对象的公共头部。阅读源码时你需要有“展开宏”的能力。现代IDE通常支持查看宏定义也可以直接去Include/object.h中查找。条件编译#ifdef,#ifndef,#endif让CPython能够处理不同操作系统Windows/Linux/macOS、不同编译器MSVC/gcc和不同特性如调试模式Py_DEBUG的差异。当你看到同一段代码有多个版本时不要困惑这是为了跨平台兼容性。2.4 内存管理基础malloc/freePython自动管理内存但其底层是C最终离不开手动管理。CPython的内存管理是一个复杂的多层系统但最底层依然调用C标准库的malloc()和free()。// 分配一个PyObject大小的内存 PyObject *obj (PyObject *)malloc(sizeof(PyObject)); if (obj NULL) { // 处理内存分配失败 } // ... 使用obj ... free(obj); // 释放内存当然CPython实际使用自己封装的内存分配器PyMem_Malloc等它提供了更好的调试支持和内存池优化但原理相通。理解malloc/free有助于你明白Python对象何时在堆上诞生以及为何需要引用计数来追踪其生命周期。3. Python对象模型基石PyObject现在让我们正式进入CPython的世界。一切Python对象的起点都源于Include/object.h中定义的PyObject结构体。3.1 PyObject结构体定义解析让我们直接看源码基于3.7.9typedef struct _object { _PyObject_HEAD_EXTRA Py_ssize_t ob_refcnt; struct _typeobject *ob_type; } PyObject;逐项拆解_PyObject_HEAD_EXTRA这是一个宏在非调试版本Py_TRACE_REFS未定义下通常为空。在调试版本中它可能包含指向前一个和后一个对象的指针用于追踪所有活动对象方便调试内存泄漏。ob_refcnt引用计数类型为Py_ssize_t一个有符号的整数类型大小足以容纳指针。这是Python自动内存管理的核心。当一个对象的引用计数减为0时解释器就会回收其内存。Py_INCREF(op)使其加1Py_DECREF(op)使其减1并在为0时触发析构。ob_type一个指向_typeobject结构体的指针。这个字段决定了对象的“类型”它指向一个类型对象如PyLong_Type其中包含了该类型的所有元信息类型名、分配内存大小、各种标准操作如tp_print,tp_repr,tp_as_number等的函数指针。这实现了C层面的“多态”——通过ob_type找到对应类型的函数来执行操作。这就是Python“一切皆对象”的C语言表达。一个整数、一个字符串、一个列表在内存起始处都有这样一个相同的头部。这种设计允许解释器用统一的PyObject *指针来引用任何对象再通过ob_type来区分和进行具体操作。3.2 定长与变长对象PyVarObject并非所有对象大小都固定。比如元组tuple的长度是可变的。为此CPython引入了PyVarObject它在PyObject的基础上增加了一个ob_size字段。typedef struct { PyObject ob_base; Py_ssize_t ob_size; /* 可变长度对象中元素的数量 */ } PyVarObject;ob_size的含义取决于对象类型。对于元组或列表它表示元素个数对于字符串在Python 3中它表示Unicode字符的数量注意不等于字节数。PyObject和PyVarObject的关系体现了面向对象中“继承”的思想尽管C语言没有原生继承。PyVarObject“继承”了PyObject所有PyVarObject的指针也可以被当作PyObject *来使用。3.3 类型对象PyTypeObject初窥ob_type指向的PyTypeObject是一个极其庞大的结构体Include/cpython/object.h它描述了类型的方方面面可以看作是类型的“蓝图”或“元数据”。这里我们只关注与整数对象相关的几个关键字段typedef struct _typeobject { PyObject_VAR_HEAD // 注意类型对象本身也是一个变长对象 const char *tp_name; /* 类型名例如 “int” */ Py_ssize_t tp_basicsize, tp_itemsize; /* 分配内存时的大小信息 */ /* 函数指针集合 */ printfunc tp_print; getattrfunc tp_getattr; setattrfunc tp_setattr; ... /* 数字方法集 */ PyNumberMethods *tp_as_number; /* 序列方法集 */ PySequenceMethods *tp_as_sequence; /* 映射方法集 */ PyMappingMethods *tp_as_mapping; ... } PyTypeObject;tp_name类型的名称字符串。tp_basicsize和tp_itemsize告诉解释器分配内存时需要多少空间。对于定长对象如inttp_itemsize为0tp_basicsize就是对象大小。对于变长对象如tupletp_basicsize是固定头部大小tp_itemsize是每个元素的尺寸总大小 tp_basicsize n * tp_itemsize。tp_as_number等这些是方法族指针。它们指向另一个结构体该结构体内包含了一组针对特定协议的函数指针。例如tp_as_number指向PyNumberMethods里面包含了nb_add加法、nb_subtract减法等函数指针。当一个Python整数参与加法运算时解释器最终会调用PyLong_Type.tp_as_number-nb_add指向的C函数。理解PyTypeObject是理解Python动态性的关键。它使得在C语言层面实现一个高度动态、可交互的对象系统成为可能。4. 整数对象PyLongObject的深度解剖终于来到主角Python的整数对象在C中称为PyLongObject。在Python 3中int就是任意精度的长整数对应C的PyLongObject。4.1 PyLongObject的结构定义定义位于Include/longobject.h和Objects/longobject.c。struct _longobject { PyObject_VAR_HEAD digit ob_digit[1]; };是的就这么简单但它蕴含了丰富的信息PyObject_VAR_HEAD这意味着PyLongObject是一个变长对象。为什么整数是变长的因为Python的int是任意精度的大整数需要动态长度的存储空间。digit ob_digit[1]这是一个“柔性数组”C99之前的一种惯用法。它声明了数组只有一个元素但在实际分配内存时会根据整数的大小分配足够多的digit单元。digit是底层存储的基本单元类型在pyport.h等文件中定义。在常见的32位平台上digit可能是30位或15位的无符号整数在64位平台上可能是30位或60位。这种设计是为了在运算效率和内存使用之间取得平衡并方便进行进位处理。一个Python整数如12345678901234567890在内存中被表示为以2^30或2^15,2^60为基数的数字系统中的一个数字数组存储在ob_digit里。ob_size字段来自PyVarObject在这里被赋予了新的含义它表示这个“数字数组”的长度并且其符号位决定了整数的正负。如果ob_size 0整数为正如果ob_size 0整数为负ob_size 0表示整数0。4.2 小整数对象池性能优化的艺术如果你创建a 1和b 1会发现a is b返回True。这引出了CPython一个著名的优化小整数对象池。CPython在初始化时会预先创建并缓存一个范围内默认是[-5, 256]的所有整数对象。当你需要一个在这个范围内的整数时解释器不会创建新的对象而是直接返回缓存对象的引用。这避免了频繁创建和销毁微小整数带来的性能开销也使得某些恒等比较is成立。这个池子的实现在Objects/longobject.c的_PyLong_Init函数中。它创建了一个静态的small_ints数组。当我们执行PyLong_FromLong(42)时函数内部会先检查参数是否在小整数范围内如果是则直接返回small_ints[42NSMALLNEGINTS]的引用。实操心得理解小整数池对于调试和编写高性能代码很重要。它解释了为什么256 is 256为真而257 is 257可能为假在交互式模式下由于代码块的优化可能仍为真但在函数中或分开赋值时通常为假。永远不要依赖is来比较整数的值应该使用。4.3 大整数的内存布局与创建过程对于超出小整数池范围的大整数CPython会动态分配内存。我们通过PyLong_FromLongLong这样的API来追踪其创建过程。计算所需digit数量根据传入的C长整型值的绝对值计算需要多少个digit单元来存储它。这涉及到位运算和除法。分配内存调用PyObject_MallocCPython的自定义分配器分配内存。分配的大小是sizeof(PyLongObject) (ndigits-1)*sizeof(digit)。注意这里减去了1因为结构体定义中已经包含了一个ob_digit[1]。这是C语言中实现“柔性数组”的经典技巧。初始化对象头设置ob_refcnt 1新对象ob_type PyLong_Type并根据正负和digit数量设置ob_size。填充digit数组将C整数的值按基数如2^30分解依次填入ob_digit数组。这是一个从低位到高位的填充过程。规范化这是一个关键步骤。函数会移除高位的、无意义的0 digit。例如一个数字实际只需要2个digit存储但可能分配了3个第三个是0就需要调整ob_size并可能收缩内存但CPython通常不会立即收缩以避免碎片化。这确保了整数对象的内部表示总是最简形式。这个过程体现了CPython在空间和时间上的权衡预先分配可能稍大的空间但保持内部表示的简洁性以优化后续运算如加法、乘法的速度。4.4 整数运算的底层实现当我们写c a b时在C层面发生了什么解释器会找到a和b的ob_type都是PyLong_Type然后通过tp_as_number找到nb_add函数指针。对于PyLong_Type这个函数是long_add。long_add函数在Objects/longobject.c中的大致逻辑如下参数检查与解包确保两个对象都是PyLongObject并获取它们的ob_size和ob_digit数组。选择算法根据两个操作数的大小ob_size的绝对值选择最有效的加法算法。对于非常小的数可能直接用C的long类型计算对于大数则使用多精度算术也叫“大数算术”算法。核心计算实现的是我们小学学的竖式加法但以2^30为基数。需要处理逐位相加、进位传播。代码中会有一个循环遍历两个数字的digit。结果构造计算可能产生一个新的digit数组长度可能比输入的最大长度多1因为可能有进位。然后调用_PyLong_New分配一个新的PyLongObject并用结果数组初始化它。返回结果返回新对象的指针。减法、乘法、除法的逻辑类似但更复杂。乘法可能会使用Karatsuba算法一种分治算法比朴素乘法更快来处理非常大的整数。除法则涉及更复杂的商和余数计算。注意事项Python的整数运算是溢出安全的但这是以性能为代价的。在C中int加法可能溢出产生未定义行为而Python的int加法总是返回精确结果。如果你在性能关键的循环中进行大量整数运算且知道数值范围有限考虑使用array模块的’i’类型或者使用numpy的固定宽度整数它们基于C类型速度更快。5. 核心API与源码追踪实战理论需要结合实践。让我们追踪一个简单的Python语句在C层面的完整路径并熟悉几个最常用的整数对象API。5.1 从Python到Ca 42的完整旅程在Python中写下a 42并执行词法分析与语法分析源代码被解析成抽象语法树AST。42被识别为一个数字字面量Num节点。编译为字节码编译器将AST转换为字节码。你可以用dis.dis(compile(‘a 42’, ‘string’, ‘exec’))查看。你会看到类似LOAD_CONST和STORE_NAME的指令。42作为一个常量被存储在代码对象的常量表co_consts中。解释执行Python虚拟机PVM执行字节码。LOAD_CONST 0从常量表索引0处加载常量。这个常量在编译时就已经被创建了。那么这个整数对象42是何时、如何创建的呢常量创建在编译阶段当遇到数字字面量42时编译器会调用PyLong_FromLong(42)来创建一个Python整数对象并将其放入常量表。因为42在小整数池范围内PyLong_FromLong会直接返回小整数池中缓存的对象的引用而不会创建新对象。赋值STORE_NAME指令将加载到栈顶的这个对象引用与名字’a’绑定在当前命名空间中。所以a 42在C层面核心是调用了PyLong_FromLong(42)并且由于小整数池a直接获得了池中那个永恒存在的42对象的引用。5.2 关键API函数解析PyObject* PyLong_FromLong(long ival) 这是最常用的从Clong创建Pythonint对象的函数。其内部逻辑我们已分析过检查小整数池 - 计算所需digit - 分配内存 - 填充digit - 返回对象指针。PyObject* PyLong_FromUnsignedLong(unsigned long ival) 类似但从无符号长整型创建。注意即使传入无符号数返回的Pythonint对象依然是有符号的只是其值是非负的。long PyLong_AsLong(PyObject *obj)和long PyLong_AsLongAndOverflow(PyObject *obj, int* overflow) 将Pythonint对象转换回Clong。这是非常危险的操作因为Pythonint可能远超Clong的范围例如在64位系统上Clong可能只有64位而Pythonint可以无限大。PyLong_AsLong如果转换溢出值超出LONG_MIN..LONG_MAX它会将错误标志PyErr_Occurred()置位并返回-1。但-1本身也可能是合法的转换结果比如int(-1)。因此必须在使用返回值前检查是否发生了错误if (PyErr_Occurred()) { /* 处理溢出错误 */ }。PyLong_AsLongAndOverflow更安全的版本。通过overflow输出参数告知调用者是否发生溢出1表示正溢出-1表示负溢出0表示正常。推荐使用这个函数。PyObject* PyLong_FromString(const char *str, char **pend, int base) 从字符串创建整数支持2-36进制。这是int(“0xff”, 16)和int(“1010”, 2)的底层实现。pend参数允许你获取字符串解析结束的位置base0表示根据字符串前缀自动判断如0x为16进制0o为8进制0b为2进制。5.3 在源码中定位与阅读如果你想亲自验证上述过程下载源码从Python官网下载CPython 3.7.9的源代码包。搜索入口在Python/ast.c中搜索Num相关的处理函数看常量是如何被创建的。在Python/ceval.c中搜索LOAD_CONST的实现TARGET(LOAD_CONST)。聚焦整数在Objects/longobject.c中找到PyLong_FromLong函数仔细阅读。使用IDE的“查找引用”功能看它在哪里被调用。理解宏在Include/longobject.h和Include/cpython/longobject.h中查看相关的宏定义如PyLong_Check快速检查对象是否为整数类型。阅读时准备好面对大量的宏和条件编译代码。不要试图一次性理解所有细节抓住主线对象创建、内存布局、核心运算。6. 常见问题与调试技巧在阅读和与整数对象打交道时你肯定会遇到一些坑。这里记录一些典型问题和排查思路。6.1 引用计数管理陷阱操作PyObject*时引用计数是头等大事。规则很简单当你拥有一个对象的引用时你需要负责在不再需要时减少它的引用计数。偷引用Stealing a reference有些函数如PyLong_FromLong返回一个新引用引用计数已为1。你需要负责在合适的时候Py_DECREF它。借用引用Borrowed reference有些函数如PyTuple_GetItem返回一个借用引用。你不能对其调用Py_DECREF因为你不拥有它。如果你需要长期持有必须调用Py_INCREF将其变为一个新引用。常见错误// 错误示例可能导致内存泄漏或崩溃 PyObject *list PyList_New(0); PyObject *num PyLong_FromLong(42); PyList_Append(list, num); // PyList_Append会“偷走”num的引用不它会增加num的引用计数。 // 如果这里不DECREF num那么除了list持有的引用外我们还多持有一个引用导致num永远无法被释放。 Py_DECREF(num); // 正确我们不再需要自己这个引用。实际上PyList_Append会Py_INCREF你传入的对象。所以上面的代码中我们创建了numrefcnt1PyList_Append后refcnt2我们Py_DECREFrefcnt1。此时list仍然持有该对象这是正确的。当list被销毁时它会对其所有元素调用Py_DECREF。更复杂的情况是“偷引用”约定。例如PyTuple_SetItem(tuple, index, item)会“偷走”item的引用它假定你传入的是一个新引用并且它接手这个引用的所有权之后你不应该再对item进行Py_DECREF。排查技巧使用sys.getrefcount(obj)在Python层面查看对象的引用计数注意这个调用本身会增加一个临时引用。在C扩展中可以在调试器里直接查看ob_refcnt字段。内存调试工具如valgrind或CPython自带的PYTHONMALLOCSTATS、tracemalloc模块也有助于发现内存泄漏。6.2 类型检查与错误处理在C扩展中你不能假设传入的参数一定是整数。必须进行检查。static PyObject* my_add(PyObject *self, PyObject *args) { PyObject *obj1, *obj2; if (!PyArg_ParseTuple(args, “OO”, obj1, obj2)) { return NULL; // 参数解析失败异常已设置 } // 方式1精确类型检查不推荐不符合Python鸭子类型 if (!PyLong_Check(obj1) || !PyLong_Check(obj2)) { PyErr_SetString(PyExc_TypeError, “arguments must be integers”); return NULL; } // 方式2尝试转换为long更友好 long a PyLong_AsLong(obj1); if (PyErr_Occurred()) { // 转换失败可能不是整数或者溢出 return NULL; // 异常已由PyLong_AsLong设置 } // ... 类似处理obj2 ... }PyLong_Check是一个宏快速检查对象是否是整数类型或整数子类型。PyLong_AsLong会进行更严格的检查并在失败时设置异常如TypeError或OverflowError。在C扩展中遇到错误时应返回NULL并确保异常已经设置PyErr_*函数。6.3 大整数运算的性能考量Python的任意精度整数很强大但性能开销不小。如果你需要处理大量数值计算使用内置类型对于循环内的计数器使用Pythonint完全没问题。小整数池和解释器优化会处理得很好。考虑array或numpy如果你处理的是大量已知范围的整数如图像像素值、传感器读数使用array.array(‘i’)或numpy.ndarray(dtypeint32)会快几个数量级。因为它们将数据存储在连续的、类型固定的C数组中避免了Python对象的开销和每次运算的类型检查、多精度计算。使用ctypes或Cython编写核心循环将最内层的、计算密集的循环用C或Cython重写可以大幅提升性能。6.4 调试CPython源码如果你想单步调试整数对象的创建过程编译调试版本在配置CPython时使用./configure --with-pydebug。这会启用大量调试检查如引用计数检查并禁用优化。使用GDB/LLDB在关键函数如PyLong_FromLong上设置断点。gdb python (gdb) break longobject.c:PyLong_FromLong (gdb) run -c “a 42”打印结构体在GDB中你可以使用p *(PyLongObject *)0x7ffff7fcd730来查看对象的内存布局需要先#include Python.h并加载调试符号。你可以看到ob_refcnt、ob_type和ob_size以及ob_digit数组的内容。理解CPython整数对象的实现不仅仅是学习一个数据结构更是打开了一扇通往Python解释器核心设计哲学的大门。它展示了如何用C语言构建一个动态、安全、高效的高级语言核心组件。当你再在Python中写下a 42时你看到的将不再是一个简单的数字而是一个精巧的、带有引用计数和类型信息的、可能来自全局缓存池的C结构体。这种深度的理解是进行高性能优化、编写稳健的C扩展、乃至参与CPython自身开发的基础。
双梁正问题 【 torch 实战】（Python代码实现）)
