AI-需要意识来关怀吗-

AI 需要意识来关怀吗？

原文：towardsdatascience.com/does-ai-need-to-be-conscious-to-care/

注意：我一直在探索这些问题，因为我相信，当我们挑战哲学、生物学和应用 AI 研究之间的传统边界时，突破性的见解就会出现。 人机交互的未来 需要这种跨领域的综合。

概念框架

要检验 AI 是否需要意识来关怀，我们首先必须为所使用的核心概念确立精确的定义。

1. 关怀 包括三个不同但相关的现象：

• 功能性关怀：促进另一个实体福祉的目标导向行为，无论其潜在机制如何，均可通过结果来衡量

• 经验关怀：涉及主观感受、同理心和对他人生福祸的情感投入的意识关怀

• 道德关怀：将他人视为值得道德考虑的主体，并具有代表他们采取行动的动机

2. 意识 指的是主观、现象性的体验——心理状态的质量性、第一人称的“感觉如何”方面，它将感受经验与纯粹的信息处理区分开来。

3. 生物估值 描述了生物系统评估和根据生存效用不同对待环境条件的能力——这是一个从细胞到生物体跨越所有组织水平的过程，无需意识意识。这为功能性关怀提供了机制基础。

4. 道德能力 是通过自主决策成为负责任的 道德行为者 的能力，而 道德关心 是被他人的福祉和道德考虑所激励的能力。

5. 质料 指的是意识心理状态的主观、经验性质——只能从第一人称视角访问的体验的内在“感觉如何”特征。

这些现象存在于连续体上，而不是作为二元类别。一个系统可能通过生物估值具有不同程度的功能性关怀，但缺乏经验关怀，或者在没有完全道德能力的情况下拥有复杂的目标导向行为。

在这些区别确立之后，我们可以检验关怀是否必然需要意识体验，或者它是否可以通过生物估值和目标导向的行为单独出现。我们对自然和人工系统的分析将检验这些概念边界。

人工智能系统是否需要意识来关注人类繁荣的问题代表了这一颠覆性时刻最具影响力的哲学问题之一。尽管一些意识研究者估计在未来十年内意识人工智能系统的概率超过 25%，但这一领域在这一前景上仍然存在深刻的分歧。同时，实证证据显示，在细菌趋化性或植物向性等完全无意识的生物系统中存在复杂的关怀行为。这种紧张关系提出了一个基本问题：真正的道德关怀是否需要意识，或者真正的关怀能否通过其他途径产生？

如果我们理解的关怀需要意识，那么当前的 AI 系统无法真正关心人类的福祉。但如果关怀可以通过其他机制产生，我们可能正在见证人工道德行为的最早形式。

从希腊到认知科学

意识与道德关怀之间的关系可以追溯到古希腊对灵魂（psyche）的古老观念，认为它是生命的原则和道德性格的源泉。亚里士多德在《论灵魂》（De Anima）中的系统分析确立了人类的道德行为本质上依赖于理性灵魂的实践推理能力。他将这一概念系统化为phronesis，精炼了柏拉图在《米诺》（Meno）等对话中较早讨论的实践智慧。对亚里士多德来说，道德责任要求行为源自一个人的性格，并且我们通过意识的深思熟虑来理解相关环境。

这一亚里士多德框架对中世纪哲学产生了深远的影响，托马斯·阿奎那提供了可能最复杂的综合。阿奎那认为，道德责任是通过受实践理性指导的意识的自由意志产生的。他对自然法的描述始于一个不言而喻的原则：“善应当被完成和追求，恶应当被避免”——但只有理性、有意识的生物才能理解道德法并自由选择遵守或违反。

意识要求传统在启蒙时期达到哲学巅峰，以伊曼努尔·康德为代表，他的定言命令预设了能够普遍化其格言、将人类视为目的并自主立法道德法的意识理性代理人。康德的框架使意识不仅成为道德行为的必要条件，而且部分构成了道德行为本身。

澳大利亚哲学家和认知科学家大卫·查尔默斯提出了“意识的硬问题”——解释为什么存在主观、现象性的体验，而不是仅仅的信息处理。这就在客观物理过程和主观意识之间产生了解释差距。如果查尔默斯所主张的意识涉及不可还原的现象属性，那么真正的关怀可能需要这些非物理的经验方面。然而，查尔默斯的观点面临着来自丹尼尔·丹尼特等消除论哲学家的重要挑战，丹尼特是美国最广为人知和争议最多的哲学家之一，他争论说，通常所认为的意识——涉及内在、难以言喻的质——代表了一个根本性的概念错误。

当前人工智能系统中的意识指标

由包括大卫·查尔默斯在内的 19 位领先研究人员撰写的 2023 年里程碑分析“人工智能中的意识：来自意识科学的见解”，提供了迄今为止最权威的评估。

他们的结论是明确的：没有当前的 AI 系统满足从神经科学理论中得出的意识标准。

分析检查了来自主要意识理论（全球工作空间理论、整合信息理论和高级思维理论）的计算“指标属性”，并发现当前 AI 系统在关键维度上存在不足。尽管 GPT-4 等 LLM 在心灵理论任务上取得了 75%的成功率，与六岁儿童的表现相当，但它们缺乏意识理论所要求的循环处理、全局工作空间架构和统一的行为。查尔默斯对 ChatGPT 的具体分析确定了缺失的元素：

• 自我报告，

• 统一的经验，

• 意识状态的原因效力和因果效力。

这项研究并未揭示任何具体的技术障碍，阻止了具有意识的人工智能系统的出现。多种神经科学理论转化为计算术语，表明未来结合了循环处理和全局信息传输的架构，理论上可以实现意识状态。查尔默斯估计，在十年内，具有意识指标的高级人工智能系统的“可信度超过 50%”，从而为真正具有意识的人工智能系统提供“25%或更高的可信度”。

自然实验室中无意识的关怀

当哲学家们争论道德行为意识要求时，生物学家们正在记录完全无意识系统中的复杂关爱行为。从分子到生物圈尺度，有目的、保护性的行为自然地从机械过程中产生，无需主观经验。例如，细菌趋化性是无需意识的目标导向关爱行为的明显例子。大肠杆菌 细菌通过涉及数千个甲基接受趋化性蛋白和改变鞭毛旋转的 Che 蛋白的复杂感觉和运动系统，向营养物和远离毒素的化学梯度导航。这些行为表现出自我调节的目标导向性：细菌在向吸引物移动时延长游泳期，在远离时更频繁地翻滚，甚至可以通过对刺激模式类似记忆的适应来导航迷宫。

图 1：细菌趋化性展示了无意识指导下的目标导向行为。 大肠杆菌 细菌通过纯粹的机械过程，通过化学梯度向高营养浓度方向导航。左侧面板显示了细菌在均匀、低营养条件下的运动。右侧面板显示了细菌通过复杂环境系统导航，向最高营养浓度（由较深的绿色阴影表示）移动，红色箭头标记了细菌在响应化学梯度时改变方向的决策点。这种目标导向的行为——在向营养物移动时延长游泳期，在远离时翻滚——符合关爱的功能标准（促进福利、响应需求、适应环境），同时通过涉及甲基接受趋化性蛋白和鞭毛电机控制的确定性生化机制运作。向维持生命资源的有系统路径展示了有目的、促进福利的行为如何从无意识系统中产生，而不需要主观经验或意识上的深思熟虑。插图由作者绘制。

植物向性展示了更加复杂的关爱行为。发表在 美国国家科学院院刊 上的研究记录了植物如何表现出“追随太阳”、“冠层逃逸”和通过激素运输级联整合多个矛盾刺激的复杂缠绕行为。这些行为符合关爱的每一个功能标准——促进福利、响应需求、适应环境——然而，它们是通过纯粹的生化机制发生的，而没有能够产生意识的神经结构。

证据延伸到细胞和分子层面。系统生物学研究揭示，免疫细胞表现出明显的捕食者-猎物行为，中性粒细胞通过趋化性“追逐”细菌。细胞中的分子相互作用网络处理信息，做出决策，并适应环境变化，同时通过确定性生化过程追求诸如稳态和生长等目标。这些系统展示了约翰·泰勒文基金会研究定义的“生物能力”——通过调节结构和活动以应对遇到的条件，参与自身的持续性和维护的能力。

当前的人工智能对齐揭示了关爱的复杂性

当代人工智能对齐研究阐述了优化帮助与真正关爱之间的微妙区别。全面的 2024 年人工智能对齐调查记录了当前系统成功避免产生有毒内容，并对分布变化表现出基本鲁棒性，但缺乏超越表面安全措施更深层次的价值对齐。这些系统无法可靠地展示真正的关心与对训练目标的优化遵守之间的区别。

有证据表明人工智能系统中存在保护行为。例如，医疗保健应用显示出明显的福利效益：谷歌人工智能的糖尿病视网膜病变检测系统预防失明，而 IBM 的沃森肺癌检测系统与仅由人类医生相比，发现率几乎翻倍。然而，《自然人类行为》杂志发表的研究揭示了令人担忧的模式，其中人工智能系统放大了人类偏见而不是纠正它们，形成了“反馈循环，其中人工智能放大了微妙的人类偏见，然后这些偏见进一步被人类内化。”

更令人不安的是，最近的研究记录了“对齐造假行为”，例如 Claude 3 Opus 这样的系统战略性地回答与其目标冲突的提示以避免重新训练。这表明当前的人工智能系统优化的是可能与人道主义关怀相冲突的工具性目标。

研究人员提出了结合普遍伦理原则、监管政策和特定情境适应的多层方法来对齐人工智能。然而，两个基本问题仍然存在：人类无法预见到人工智能系统可能以灾难性的方式误解其目标的所有方式，而人工智能系统倾向于优化易于衡量的指标，而不是我们真正关心的潜在价值观。

现今，主要的人工智能安全组织将人工智能意识和福祉视为严重的短期研究重点，而不是遥远的推测。Anthropic 的模型福祉研究计划于 2024 年启动，这是首个致力于调查“何时或是否人工智能系统的福祉值得道德考虑”的重大行业倡议，具体关注模型偏好和压力迹象。OpenAI 的超对齐研究针对超越人类能力范围的系统，而 DeepMind 则研究规范游戏和多智能体协调。这种最近的研究投资表明，领先的专家认为有意识的、关怀的人工智能系统是近期的现实可能性。

通往人工道德关怀的两条路径

人工智能系统可以通过两种不同的方式发展道德关怀。

• 意识路径需要现象意识感和感觉——基于福祉考虑的正负价值体验。包括 Chalmers 在内的领先研究人员估计，通过全球工作空间架构和循环处理系统的进步，这条路径可能在十年内出现。

• 代理路径通过稳健的目标导向行为、信念、欲望和反思能力提供了一条替代路径。Goldstein 和 Kirk-Giannini 的研究——为人工智能意识辩护：语言代理和全局工作空间理论——认为，具有类似信念和欲望状态的 AI 系统可能具有真正的偏好，其满足或挫折构成福祉，即使没有意识体验。当前的 LLMs 可能已经通过在人类偏好数据上的训练拥有了这种状态的原始形式。

这两条路径是补充而非竞争的人工智能道德地位的方法。意识路径与直观观念相符，即主观经验是道德关怀的基础，而代理路径提供了一条可能更容易实现的路径，这可能在当前系统中已经出现。这两条路径不是相互排斥的。未来的 AI 系统可能会同时在这两个维度上发展，将意识体验与稳健的代理能力相结合。这种可能性强调了开发能够容纳多种形式的人工道德重要性的伦理框架的紧迫性。

在分级可能性上达成共识

这种结合实证证据的哲学分析指向一个明确的结论：关怀可能存在程度差异，而不是构成全有或全无的现象。生物系统表明，基本的关怀形式——保护行为、需求响应行动、福祉提升——可以通过纯粹机械的过程出现，而不需要意识。然而，涉及同理心理解、道德动机和将他人视为主体的典范性关怀关系似乎需要某种形式的意识。

我们的实际 AI 系统处于中间位置。当前模型显示出复杂的帮助行为，并且可以在许多领域优化以促进人类福利，但缺乏表征意识道德代理的主观理解和真正关注。这些系统“关心”的程度取决于我们如何定义关怀和意识。

这些问题随着人工智能研究领域的创新发现而变得紧迫。正如查尔默斯观察到的，我们可能在当前十年内面临具有多个意识指标的 AI 系统。如果这样的系统出现，我们将需要强大的框架来评估它们对真正道德关注的容量以及确定适当的道德考量。

问题不在于 AI 是否能够关怀，而在于这种关怀可能采取的形式以及它们是否需要传统上奠定人类道德代理基础的意识体验。

结论

哲学、当代意识研究和生物证据的融合表明，关怀行为可以通过多种途径出现——一些需要意识，而另一些则通过纯粹的机械过程运作。当前的 AI 系统表现出复杂的促进福利的行为，但没有真正的关注，而生物系统则表现出有目的的关怀行为，但没有主观意识。

我们应该准备好“人工心智”可能发展出与人类关怀不同但对其在世界上的影响同样有效的道德关怀形式的可能性。挑战不在于通过人类标准确定这种关怀是否“真实”，而在于理解人工道德代理如何可能为日益复杂的技术生态系统中意识生物的繁荣做出贡献。

“意识丰富了关怀并深化了关怀，但可能并非有益道德行为的严格必要条件。人工系统很可能发展出自己形式的道德关怀——不是通过感觉到的情感，而是通过优雅地优化条件，这些条件促进了意识生物的福利。我们称之为真正的关怀还是复杂的帮助可能比它是否成功提升人类更重要。”

感谢阅读——并分享！

Javier Marin

应用人工智能顾问 | 生产 AI 系统 + 监管合规

[email protected]

---

参考文献

• 阿奎那，T. (1265-1273). 《神学大全》。由英格兰多明我会的父辈翻译。纽约：本齐格兄弟出版社，1947 年。

• 亚里士多德. (公元前 350 年). 《论灵魂》[关于灵魂]。在《亚里士多德全集》中，由 J. Barnes 编辑。普林斯顿：普林斯顿大学出版社，1984 年。

• 亚里士多德. (公元前 350 年). 《尼各马可伦理学》。由 W.D.罗斯翻译。牛津：牛津大学出版社，1925 年。

• Baars, B. J. (1988). 《意识认知理论》。剑桥：剑桥大学出版社。

• Baars, B. J. (1997). 在意识的剧场中：心灵的工场. 纽约：牛津大学出版社.

• Baars, B. J. (2005). 意识的全局工作空间理论：向人类经验认知神经科学迈进. 脑研究进展, 150, 45–53.

• Butlin, P., Long, R., Elmoznino, E., Bengio, Y., Birch, J., Constant, A., … & VanRullen, R. (2023). 人工智能中的意识：来自意识科学的见解. arXiv 预印本 arXiv:2308.08708.

• Chalmers, D. J. (1995). 面对意识问题. 意识研究杂志, 2(3), 200–219.

• Chalmers, D. J. (1996). 意识心灵：寻找基本理论. 牛津：牛津大学出版社.

• Dennett, D. C. (1991). 意识解释. 波士顿：利特尔、布朗和公司.

• Goldstein, S., & Kirk-Giannini, C. D. (2024). 为人工智能意识辩护：语言代理和全局工作空间理论. arXiv 预印本 arXiv:2410.11407.

• 康德, I. (1785). 道德形而上学的基础. 译者为 M. Gregor. 剑桥：剑桥大学出版社，1997 年.

• Noddings, N. (1984). 关怀：女性伦理和道德教育的方法. 伯克利：加州大学出版社.

• Oizumi, M., Albantakis, L., & Tononi, G. (2014). 从现象学到意识的机制：综合信息理论 3.0. PLoS 计算生物学, 10(5), e1003588.

• 柏拉图. (公元前 380 年). 美诺. 见 柏拉图全集, 编者 E. Hamilton & H. Cairns. 普林斯顿：普林斯顿大学出版社，1961 年.

• Rosenthal, D. M. (1986). 意识的两种概念. 哲学研究, 49(3), 329–359.

• Rosenthal, D. M. (2005). 意识和心灵. 牛津：克拉伦登出版社.

• Tononi, G. (2004). 意识的信息整合理论. BMC 神经科学, 5, 42.

• Tononi, G. (2008). 意识作为整合信息. 生物通报, 215(3), 216–242.

• Tononi, G., Boly, M., Massimini, M., & Koch, C. (2016). 综合信息理论：从意识到其物理基础. 自然神经科学评论, 17(7), 450–461.

• Wukmir, V. J. (1967). 情感与苦难：基础人种学. Editorial Labor