IronPython 源码剖析系列（1）：IronPython 编译器

自 IronPython 正式发布以来，由于对 Python 语言的喜爱所驱使，同时我想藉此去了解一下编程语言的编译器，分析器等程序是什么原理，如何运作的，所以我开始了对 IronPython 源代码的学习过程。但代码也看了有一段时间了，之前是看一些实现细节，结果越看越糊涂。现在我发现需要改变一下策略了，因为我们了解一个系统总是从对它的使用方法去开始了解，如果直接去了解底层的运作原理，则可能会迷失在代码海洋里面。所以我也准备采取自顶而下的分析方法，捡软柿子捏，从简单的，宏观的入手。至于具体的实现细节，可以慢慢再深入研究。

OK，今天被我抓到的看起来像软柿子的是:

IronPython/Hosting/PythonCompiler.cs

首先我们抓住要点，看这个文件中的主要类： PythonCompiler （Python 编译器）

在这个类中，首先有一堆的属性不用去管，表示的无非是编译器将要输出的文件的类型啊（DLL 还是 EXE），输出路径，引用了哪些程序集啊等等东西。

直奔主题，我们看到 Compile() 方法，这是负责编译的主控制方法。
这个方法不难理解，我读了一遍，注释如下：

/// <summary>
/// 编译
/// </summary>
public void Compile() {
    string fullPath = Path.GetFullPath(outputAssembly);
    string outDir = Path.GetDirectoryName(fullPath);
    string fileName = Path.GetFileName(outputAssembly);

    // Python 编译器的接受池
    PythonCompilerSink sink = new PythonCompilerSink(compilerSink);

    // 程序集产生器
    assemblyGen = new AssemblyGen(
        Path.GetFileNameWithoutExtension(outputAssembly),
        outDir, fileName, includeDebugInformation, staticTypes, executable, machine
        );

    // 是否以设定入口点(entry point)
    bool entryPointSet = false;

    // 设定默认的主文件（对非 DLL 的输出文件类型而言）
    if (mainFile == null && sourceFiles.Count == 1 && targetKind != PEFileKinds.Dll) {
        mainFile = sourceFiles[0];
    }

    // 对每个源文件依次编译
    foreach (string sourceFile in sourceFiles) {
        // 是否产生 Main 方法
        bool createMainMethod = sourceFile == mainFile;
        // 每个源代码文件编译为一个模块
        CompilePythonModule(sourceFile, sink, createMainMethod);

        if (sink.Errors > 0) return;

        if (createMainMethod) {
            entryPointSet = true;
        }
    }

    // 依次将所有资源文件添加到程序集中
    if (resourceFiles != null) {
        foreach (ResourceFile rf in resourceFiles) {
            assemblyGen.AddResourceFile(rf.Name, rf.File, rf.PublicResource ? ResourceAttributes.Public : ResourceAttributes.Private);
        }
    }

    // 对非 DLL 的目标文件，必须要求有一个入口点
    if (targetKind != PEFileKinds.Dll && !entryPointSet) {
        sink.AddError("", string.Format("Need an entry point for target kind {0}", targetKind), String.Empty, CodeSpan.Empty, -1, Severity.Error);
    }

    // 最终产生输出的程序集
    assemblyGen.Dump();
}

这段代码中，调用到了 PythonCompiler 类自身的私有方法 CompilePythonModule() 来完成编译模块的功能。下面我们来看一下这个方法在做什么：

// 编译模块
private void CompilePythonModule(string fileName, PythonCompilerSink sink, bool createMain) {
    // 设定当前要编译的源文件
    assemblyGen.SetPythonSourceFile(fileName);
    // 创建编译器环境对象
    CompilerContext context = new CompilerContext(fileName, sink);
    // 创建分析器
    Parser p = Parser.FromFile(state, context);
    // 调用分析器的分析方法，得到一个语句对象（语句应该是利用了组合模式的一个嵌套的概念，这个语句代表整个文件里的一个大语句）
    Statement body = p.ParseFileInput();

    if (sink.Errors > 0) return;

    // 创建一个全局套件？？有可能是指 globals() 这个字典对象。有待分析。。。
    // 这里面的 Binder 是干什么的也有待研究。
    GlobalSuite gs = Compiler.Ast.Binder.Bind(body, context);
    string moduleName = GetModuleFromFilename(fileName);
    // 这里看到了 TypeGen，该类代表一个类型产生器
    // tg 指向了一个模块类型（IronPython 中，每一个模块产生为一个对应的类。）
    TypeGen tg = OutputGenerator.GenerateModuleType(moduleName, assemblyGen);
    // 编译模块的 __init__ 方法？？（猜测）
    CodeGen init = CompileModuleInit(context, gs, tg, moduleName);

    // 如果需要创建 Main 方法则创建之
    if (createMain) {
        // 联想前面一个 CodeGen 的例子，观察调用语句可以想到，方法的产生器是
        // CodeGen，而类型的产生器是 TypeGen
        CodeGen main = OutputGenerator.GenerateModuleEntryPoint(tg, init, moduleName, referencedAssemblies);
        // 这里注意到 CodeGen 代码产生器含有一个重要的属性就是代表这个方法
        // 的反射信息的 MethodInfo, 可以通过这个来调用产生的方法。
        assemblyGen.SetEntryPoint(main.MethodInfo, targetKind);
    }

    // 因为模块类不是普通的类，需要给他添加一个特殊的标签（Attribute）
    assemblyGen.AddPythonModuleAttribute(tg, moduleName);
    // 产生类型的动作完毕
    tg.FinishType();
}

在上述两个方法中，我们看到，出现了几个重要的类，它们将是我们下面接着分析的重点线索：

Parser:       分析器
Statement:   语句
GlobalSuite: globals() ??
TypeGen：     类型产生器
CodeGen：     代码产生器（用于产生方法的代码）

在另一个私有方法 CompileModuleUnit 中，主要是进行了一些模块的导入工作，代码很容易懂，这里不详细分析。

现在回头看一下，在 IronPython/Hosting/PythonCompiler.cs 这个文件中，还剩下了两个类没有提到：
ResourceFile: 代表一个资源文件的相关属性。
PythonCompilerSink: 按照字面理解就是 PythonCompiler 的编译结果的接受池。至于它到底如何运作，留待后面再分析。

到这里为止，我们大致上看到了 IronPython 编译器的工作流程，从一系列源代码文件，资源文件，以及其他一些配置属性出发，经过 Parser, 各种 Generator 的运作，最终到达 AssemblyGenerator 的 Dump() 方法，输出编译结果程序集。

以上的代码分析难免有错误之处，尚有待继续挖掘和梳理。

下一篇：IronPython 源码剖析系列（2）：IronPython 引擎的运作流程