论文解读 | 政治文本分类如何事半功倍？一种更高效的文本分类算法| American Political Science Review - 实践

论文解读

政治文本分类如何事半功倍？一种更高效的文本分类算法| American Political Science Review加粗样式

摘要:

社会科学家往往对文本进行分类，以将得到的分类得出的结果用于实证研究或预测分析。因为需要的人工编码较少，自动文本分类已成为一种标准工具。然而，学者们仍然必须大量人工标记的文本对分类模型进行训练。为了降低标记成本，我们提出了一种新的文本分类算法，该算法将概率模型与主动学习相结合。概率模型运用已标记和未标记的数据，而主动学习将标记工作集中在最难以分类的文本材料上。我们启用了两篇已发表文章中的一小部分原始标记数据来复制这些研究。我们的研究结果表明，在人工标记数据很少的情况下，这一算法的分类性能与目前最先进的方法相当，但计算成本大大降低。

作者简介:

MITCHELL BOSLEY 密歇根大学、多伦多大学

SAKI KUZUSHIMA 密歇根大学、哈佛大学

TED ENAMORADO 华盛顿大学

YUKI SHIRAITO 密歇根大学

编译来源:

BOSLEY, M., KUZUSHIMA, S., ENAMORADO, T., & SHIRAITO, Y. (2024). Improving Probabilistic Models In Text Classification Via Active Learning. American Political Science Review, 1–18.

本文解读围绕 American Political Science Review 上的文章 “Improving Probabilistic Models In Text Classification Via Active Learning”，以及其中文导读稿《政治文本分类如何事半功倍？一种更高效的文本分类算法》，重点不在于重复原文内容，而在于：从政治学与社会科学研究者的角度，把这套文本分类方案的方法论地位、技术机制与实证后果讲清楚，并讨论它在现实研究设计中的可用性与边界。

一、疑问意识：政治文本分类的“隐性成本”

这篇文章要处理的，并不是“如何再造一个更强大的文本分类器”此种狭义技巧难题，而是一个典型的社会科学场景：研究者拥有海量政治文本，却几乎无力承担大规模人工标注的成本。

在政治学和更广泛的社会科学中，文本分类通常扮演的是“方法中的方法”角色。研究者真正关心的是诸如：

政府镇压是否随着互联网普及而改变？
人权报告的情绪倾向是否在信息时代发生了结构性转折？
某类政治事件、立法议案、政策表述在时间和空间上如何演化？

一个中介步骤：把杂乱的自然语言材料映射到结构化变量（如“有针对性镇压 vs 无针对性 vs 非国家行为者暴力”“积极 vs 中性 vs 消极情绪”等），以便进入后续的回归、因果推断或网络分析环节。问题在于，这个中介步骤十分昂贵：作者举的例子里，研究者动辄必须标注几千乃至上万条文本，才能训练一个性能还算可靠的监督学习模型。就是文本分类在这些研究中只

这就形成了一个方法论上的张力：一方面，社会科学越来越倚重机器学习和 NLP，使得大规模文本成为“可用证据”；另一方面，标注环节的人力成本成为研究设计的瓶颈，尤其在政治学这种对语言细节高度敏感、且标签定义往往复杂的领域。

原文提出的 activeText，就可以理解为对这个张力的一个具体回应：如何在维持（甚至逼近）当前“最先进”模型性能的同时，大幅降低人工标注数量和计算成本。

二、方法论定位：在“深度学习神话”之外重申概率模型的价值

要理解这篇文章的贡献，需要先明确作者所处的方法论位置。

在当前的 NLP 生态中，Transformer 系列模型（BERT 及其变体）已经成为文本分类的默认选项。它们确实在很多任务上表现出色，但作者指出了三个在社会科学语境中尤其关键的问题：

第一，计算资源昂贵。在没有高性能计算平台或 GPU 的情况下训练 BERT 类模型，不仅耗时，而且会直接影响研究的可行性和迭代频率。对于许多政治学者而言，高性能算力并不是常备资源。

第二，标注信息稀缺时容易过拟合。深度模型的高容量在数据稀疏场景下反而是一种负担，尤其在类别不平衡严重、标签定义复杂的政治文本中，模型可能学到的是偶然模式而非稳定结构。

第三，可解释性不足。政治学研究不仅追求预测准确，更强调机制理解与理论对话。一个“黑箱”的高准确率分类器，很难参与到有关政治过程与制度逻辑的学术讨论中。Rudin（2019）批评黑箱模型在高风险决策中的应用，这种批评在政治学研究中同样适用。

在这种背景下，作者提出的路径并不是再造一个“更深”的模型，而是回到简便而结构清晰的概率模型，并通过半监督学习和主动学习的组合，对其进行“方法论增幅”。这意味着，与其押注于深度网络的表征能力，不如把精力放在：如何更奏效地利用有限的标注数据和大量未标注文本，以及如何优化标注过程本身。

通过换言之，activeText 的核心主张能够概括为：在政治文本分类的典型约束条件下——标注难、资源有限、可解释性重要——简单的概率模型 + 精心设计的学习策略通过，完全能够与 BERT 级别的模型在性能上竞争，并在实践性上更具优势。

三、模型结构：基于混合模型的半监督文本分类

activeText 在建模层面采用的是一个相对传统但经过精心设计的框架：离散资料的混合模型 + 半监督学习。

设有 [N] 篇文档和 [V] 个特征（通常是词，亦可包括二元组、三元组或其他 token）。文档–特征关系被编码为一个 [N \times V] 的矩阵 [D]。每篇文档 [i] 被假定属于某个类别 [k]，例如“政治 vs 非政治”、“有针对性镇压 vs 无针对性 vs 非政府暴力”等。

未标注的，它们的类别需要模型根据文本特征和已标注样本进行推断。就是半监督的关键点在于：部分文档是已标注的，其类别标签已经利用人工编码确定；大量其它文档则

在模型层面，作者沿用了 Nigam 等（2000）的思路，将文本生成过程建模为一个类别条件下的多项式分布。直观地说，对每个类别 [k]，存在一个特征概率向量 [\eta_k]，表示在该类别下各词出现的概率；文档属于某个类别的先验概率由 [\pi] 描述。未标记文档的类别被当作潜在变量，由模型给出后验概率。这样的结构本质上是一个带有隐变量的概率图模型，其参数利用期望最大化（EM）算法估计。

关键在于，作者没有简单地把“标注数据 + 未标注数据”一股脑地扔进 EM，而是引入了一个调节参数 [\lambda] 来刻意控制未标注数据对整体对数似然的影响。原因在文中讲得很清楚：在实际政治文本语料中，未标注文档数量往往远远大于标注文档，如果直接将它们视为等权数据进行似然优化，未标注部分很容易“淹没”标注信息，从而使模型偏离研究者通过人工标注传递的类别定义。

[\lambda] 的角色，就是人为提升标注数据在似然中的权重，使得模型在利用未标注文本结构信息时，不至于失去对标注标签的忠实性。这一点有重要的方法论含义：在社会科学应用中，研究者对分类标签往往有明确的理论预期和规范定义，不希望分类模型“另起炉灶”地重塑类别边界。通过对未标注内容的权重约束，作者在技术上保证了模型在利用数据结构的同时，仍以人工定义的标签为锚。

这种处理方式本身就是一个微妙的政治学–机器学习折衷：既承认统计模式可以揭示潜在结构，又明确人类研究者在定义分析单位和类别边界上的主导权。

四、主动学习：把标注资源用在“最有信息量”的文本上

“传统配方”，那么 activeText 的关键创新就在于如何将其嵌入主动学习框架，用以就是如果说混合模型和半监督部分更多优化人工标注的顺序和对象。

主动学习的核心思想很朴素：并非每一条未标注文本对模型学习的贡献是等价的。与其随机挑选一批文档去标，不如优先标注那些最“有信息量”的文本，从而以尽可能少的标注，实现尽可能大的性能提升。

在 activeText 里，主动学习循环大致包含三个步骤：

第一，利用当前模型参数，计算每个未标注文档属于某一类别的后验概率。例如在二分类情形下，大家得到每篇未标注文档属于“政治类”的概率 [p_i]。

第二，根据“不确定性”标准选择需标注的样本。作者采用了经典的不确定性抽样思路，其度量方式可以理解为：文档的预测概率越接近 [0.5]，模型对其类别判断越不确定，这类文档就越“值得”被人类标注。在形式上，可以用与 [0.5] 的距离或香农熵来衡量不确定性。模型会对所有未标注文档按不确定性排序，从中选出前 [n] 个样本提交人工标注。

第三，将新获得的标签加入标注集合，重新运行 EM 进行参数更新，并重复上述选择–标注–更新的循环，直到某种停止条件被满足。

通过在停止规则的设计上，作者保持了高度的灵活性。可以采用基于内部参数变化的小幅度作为停机阈值，也可以采用基于样本外性能指标（如 F1 分数）边际提升不足的标准。在他们的实证复制中，常用的做法是设置 F1 分数增量低于 [0.01] 时停止。这种基于性能边际收益的停机方式，本质上是在控制标注投资的“性价比”：当额外标注已经难以带来显著性能提升时，能够合理地终止标注。

值得注意的是，主动学习在这里并不仅仅是一种“技术优化”，它直接改变了研究者与数据的互动方式：研究者不再被动地“盲选一批文本来标”，而是在一个动态循环中，与模型共同确定哪些文本最值得投入精力。这个过程本身，也提供了一种更可控的“方法论实践”：研究者可以随时观察模型在不确定区域的行为，甚至在必要时调整类别定义或特征选择。

五、关键词加权：在统计模型中嵌入学科知识

activeText 的另一个重点特性是关键词加权机制算法细节，但从社会科学方法论角度看，其实非常关键，因为它提供了一种显式的途径，把研究者的学科知识和直觉直接融入模型。就是。这部分看似

从技术上讲，关键词加权是通过修改特征–类别概率矩阵 [\eta] 的先验来实现的。具体地，对某些被认为与特定类别高度相关的词汇（如“vote”“election”“president”等与政治类文本相关的词），借助增加其对应先验参数 [\beta] 的值，提升这些词在该类别下出现的先验概率。换言之，模型在观察数据之前，就被赋予了一个偏好：这些关键词一旦出现，更倾向于施加权重到相应类别。

更有意思的是，关键词本身并非完全由研究者主观指定。activeText 首先利用当前估计的 [\eta]，计算每个词在特定类别中出现的比例，然后从中选出一批“候选关键词”，再由研究者基于专业判断筛选确认。这形成了一个人机协作的闭环：模型先从信息中提出候选模式，研究者再根据领域知识做出最终判断。这样产生的关键词集，既保留了数据驱动的灵活性，又避免完全依赖研究者的先验偏见。

在人权语料的实验中，关键词加权展现出了显著效果。由于该语料的文档长度极短（单句），可用的上下文信息有限，模型在仅依赖词频模式时难以稳定区分类别。在这种场景下，通过关键词机制人为增强一些具有高度诊断性的词汇，可以明显提高分类性能。作者也指出，当类别严重不平衡时（例如正类比例只有 5%），关键词方案的收益更大；而在类别数量较为均衡的材料集上，关键词加权对整体性能的提升不明显。

这一观察同样具有方法论含义：在高度稀疏、且类别边界高度依赖“敏感词”的政治文本（例如人权报告、镇压事件叙述）中，研究者的先验知识并不是噪音，而是重要的补充信号停留在“数据预处理”或“结果解读”的非正式环节。就是。依据关键词加权，这种知识得以以形式化的方式进入模型，而不

六、性能对比：与被动学习和 DistilBERT 的实证较量

作者在多个语料上平台比较了 activeText 与两类对照方法的性能：其一是使用相同概率模型但采用被动抽样（Random Mixture）的版本，其二是基于 DistilBERT 的深度学习分类器。

在分类性能方面，activeText 的表现具有几个稳定特征。

第一，几乎在所有情形下，主动学习版本的 activeText 都优于被动学习版本。这本身并不意外，却提供了量化证据：在标注资源有限、尤其是正类比例低的情况下，不确定性抽样的主动学习确实能显著提高学习效率。对于研究设计而言，意味着“聪明地选文档去标”确实比“随机抽一堆文本”更划算。

第二，与 DistilBERT 的对比结果更值得关注。作者在维基百科讨论、BBC 新闻、美国最高法院判决、人权指控等四类文本上比较了不同正类比例和标注规模下的 F1 曲线。结论可以概括为：在绝大多数场景下，activeText 在采用较少标注样本的阶段，性能优于或至少不逊于 DistilBERT。尤其在正类比例较低（例如 5%）的设定中，activeText 在少量标注下的 F1 优势更为突出。

随着标注数量不断增加，DistilBERT 在部分语料（如 Wikipedia）上逐渐追平并超过 activeText，这是符合预期的：深度模型在内容丰富时更容易发挥表征能力。然而，从社会科学研究的实际约束看，研究者往往不具备无限扩展标注规模的余地。换句话说，在“可承受标注成本”这一现实区间内，activeText 的性能是十分有竞争力的。

通过人权语料是一个例外，DistilBERT 在部分设置下表现更好。作者将其归因于文本过短导致概率模型难以提取足够区分信息，而深度模型得益于预训练语义表征，在极短文本上仍然能捕捉某些微妙模式。不过，结合之后的关键词实验可以看到，通过嵌入关键词先验，activeText 在该语料上的劣势能够明显缩小。

七、计算成本：面向“普通笔记本”的办法设计

在运行时间方面，作者依据在普通的 M1 Macbook Air 上比较 activeText 与 DistilBERT 的训练时长，提供了一个极其直观的结论：在大规模语料上，DistilBERT 的时间成本比 activeText 高出几个数量级。

以 Wikipedia 语料为例，在标注 500 篇文档、对剩余 45,500 篇进行预测的设定下：

activeText 完成约 25 次迭代，总运行时间接近 100 秒；
DistilBERT 训练和预测过程约需 10,000 秒，接近 2.78 小时。

这种量级上的差别，对有 GPU 支持的工业场景或许不算问题，但对于多数政治学与社会科学研究者而言，意味着研究迭代周期的巨大差距。在没有高性能资源的前提下，选择 DistilBERT 往往就意味着显著降低模型调参和实验次数，甚至不得不在初始设计阶段做出各种妥协。

作者在这里传达的隐含态度是：一个适合社会科学的文本分类方法，不能仅仅用“最终性能”来衡量，还必须考虑计算可达性与实验可重复性。activeText 的设计，使得整个分类流程在普通笔记本上即可完成，此种“算力友好性”本身就是一种方法论上的美德：它降低了政治学者进入机器学习领域的门槛，也让更多研究可以在没有 HPC 支持的机构内部落地。

八、实证复制：用更少的标注重现既有研究结论

文章最具说服力的一部分，是对两篇高质量政治学研究的实证复制：Gohdes（2020）关于互联网普及与国家暴力的研究，以及 Park、Greene 和 Colaresi（2020）关于人权报告情绪与信息密度的研究。作者的目标并不是“推翻”原有结论，而是展示：在使用显著更少标注数据的前提下，activeText 仍然能够重现原文的核心实质性结论。

在 Gohdes（2020）的场景中，原文通过手工编码 2,346 份关于叙利亚暴力事件的报告，将其分为针对性政府杀戮、非针对性政府杀戮和非政府杀戮三类，并使用极端梯度提升（XGBoost）进行文本分类，以衡量针对性镇压与互联网可及性的关系。

作者在复制时使用了相同的特征矩阵和标签划分，将材料按 80%/20% 划分为训练和测试集，并评估 activeText 在不同主动学习步数下的 F1 表现。结果显示，在合适的停止点上，activeText 的分类性能可以与 Gohdes 使用的 XGBoost 相当，而所需的标注文本数量大约只有原来的三分之一。这意味着，从研究设计角度看，如果一开始就采用 activeText，研究者可以大幅减少人工编码投入，而不必牺牲对“互联网–镇压”这一关键因果关系的识别能力。

在 Park、Greene 和 Colaresi（2020）的复制中，原文使用支持向量机对 4,000 篇手工标注的美国人权报告片段进行情感分类（正面 / 中性 / 负面），并在此基础上考察信息密度与情绪的关系。作者则使用 activeText，仅标注 500 个文档，通过多次蒙特卡洛模拟，考察所得分类结果在时间维度上的情绪趋势。图 6 显示，在仅用八分之一标注信息的前提下，activeText 所得的“平均情绪随时间主要保持稳定且接近中性”的结论，与原文高度一致。

这两组复制有一个核心共同点：作者关注的不是单纯的分类准确率，而是下游实证结论是否发生实质性改变。从社会科学研究的视角，这是更关键的评估维度。很多时候，研究者不需要在边际上追求 0.01 的 F1 提升，而更在意模型是否会改变政策结论或理论判断。activeText 在这两项复制中的表现，说明在相当广的区间内，减少标注数据并没有造成结论的“范式性偏移”，这为其作为一种方式工具的实用性提供了较强背书。

九、适用场景与方法论含义

通过将文章的技术细节和实验结果放在更宽的政治学研究图景中，能够看出 activeText 至少在三个维度上的方法论含义。

第一，它为标注极其昂贵的政治文本任务通过提供了一个现实可行的方案。包括但不限于：人权报告、冲突事件叙述、法庭判决书、外交电报、政策材料、国家媒体报道等。在这些场景中，定义合理的标签类别本身就需要大量领域知识，标注工作通常无法外包给非专业劳动力。activeText 通过主动学习减少标注样本数量，再配合关键词加权嵌入专家知识，能够显著降低项目的时间和人力成本。

第二，它重新强调了可解释的概率模型在社会科学中的价值。与很多深度模型不同，activeText 的参数结构是透明的：研究者可以直接检查某一类别下词的条件概率，理解模型到底依赖了哪些语义信号。这点对于政治文本尤其重要，因为我们往往关心的是：模型是否捕捉到了与理论相关的语言模式，而不是偶然的语料噪音通过。通过审视 [\eta] 和关键词权重，研究者能够在一定程度上验证模型是否与自己的理论预期一致。

第三，它通过 [\lambda] 参数的设计和关键词机制，提供了一种将人工知识与数据驱动模式调和的形式化方式。在很多政治学研究中，研究者既不愿完全依赖统计算法，也不愿仅靠肉眼阅读来做分类判断。activeText 的框架允许研究者在一个明确的数学结构中表达先验：可以形式化地“给标注数据更多话语权”，也可以利用关键词“引导”模型对某些模式的关注。此种人–机协作模式，比单纯的“黑箱预测”或“人工编码”都更贴近政治学的研究实践。

十、局限与未来可能的扩展方向

尽管文章在实证和方法上都做得相当扎实，但 activeText 并不是一个对所有文本分类任务都占优的“通用解”。结合作者的讨论，可以看到几类现实局限。

一是短文本与高度含混语言仍然是弱点。人权语料的例子表明，当文档只有一个句子且语义高度凝练时，简单的词频模型很难捕捉到足够的区分信息。这种场景下，预训练语言模型所具备的语义表征优势更加突出。关键词加权可以在一定程度上缓解挑战，但难以完全弥补.

二是类别定义极为复杂或层级化的任务。activeText 在文章中主要处理的是较为清晰的多类分类问题（如三分类情感、三类型杀戮）。对于那种类别边界模糊、甚至存在结构性层级或多标签重叠的文本分类任务，容易混合模型的表达能力会受到限制，可能需要更复杂的图模型或序列模型来表达标签间关系。

三是跨语种与迁移学习问题。文章主要基于英文语料进行实验和复制，模型本身不依赖语言特性，因此许可迁移至其他语言。但在缺乏成熟分词软件或高质量特征构建的语种上，特征矩阵 [D] 的质量会直接影响模型效果。在跨语种或跨语境的迁移任务中，预训练语言模型具有天然优势，而 activeText 更适合在单一语种、明确语境下深耕。

至于未来的扩展方向，文章在讨论部分给出了一些思路。许可预期的路线包括：将 activeText 的概率框架与更丰富的文本表征结合，例如用预训练模型生成的嵌入作为特征输入，同时保留半监督和主动学习机制；或者将当前的关键词加权扩展为更通用的“专家规则”体系，让研究者以更丰富的形式（例如模式匹配、句法结构）向模型表达先验。此外，在政治学研究实践中，还可以探索将 activeText 嵌入更复杂的管线，例如事件抽取、立法文本自动编码、媒体偏向分析等。

十一、结语：在工程与学术之间寻找“够用且透明”的方法

回到这篇 APSR 文章一开始提出的动机：社会科学家需要的是一种既能在现实约束下运行，又能在学术语境中自洽的文本分类方法。activeText 的贡献不只在于某个指标上的性能提升，而在于它向我们展示了这样一条路径：

在深度学习已成主流叙事的今天，研究者仍然可以选择一种结构简单、可解释性强、与学科知识高度兼容的方法框架，通过半监督学习、主动学习与先验嵌入等策略，在很大程度上弥合现实约束与方法理想之间的鸿沟。

一篇构造良好的方法学作品。它明确了研究情境中的关键约束，给出了一套在这些约束下“足够好且可用”的解决方案，并通过严谨的实验和实证复制证明：我们完全可以在不依赖庞大算力和海量标注的前提下，进行高质量的政治文本分析。就是对政治学和更广泛的数字人文、社会科学研究者而言，这篇文章的价值在于：它不是一个“再造黑箱”的工程案例，而

从该意义上说，activeText 不只是一个 R 包或算法，而是一种实践立场：在追求技术前沿的同时，永远把研究问题、现实资源和学科规范放在手段选择的中心。

posted on 2026-01-19 20:08 ljbguanli 阅读(2) 评论(0) 收藏举报