读浪潮将至13遏制的关键步骤

1. 审计

1.1. 知识就是力量，力量就是控制

1.2. 对技术控制来说至关重要

1.3. 为技术创建安全的物理或虚拟隔离容器是基础

1.4. 实施有意义的监督，制定可执行的规则，并对技术执行情况进行审查，这些都是极其重要的

1.5. 信任源自透明度

• 1.5.1. 绝对需要在各个层面验证系统的安全性、完整性和未受损状态

1.6. 外部审查的重要性不言而喻

• 1.6.1. 全球范围内并没有形成系统性的、常规的或正式的机制来测试已经部署的技术系统

1.7. 一个基于常识的基本出发点应该是鼓励公司和技术前沿领域（存在真正的危害性风险）的研究人员主动与政府主导的审计工作中的可信赖的专家进行合作

1.8. 红队测试

• 1.8.1. 主动寻找人工智能模型或软件系统中的漏洞

• 1.8.2. 涉及以可控的方式对系统进行攻击，从而探测出其弱点和其他潜在的故障模式

• 1.8.3. 对每个系统进行严格攻击和压力测试，并确保在此过程中获得的洞见能在整个行业内广泛共享

1.9. 用于追踪新技术的系统应当具备识别异常状况、能力突变和隐藏故障模式的能力

1.10. 一个既有效又不具侵犯性的起点是，密切关注用于模型训练的关键数据集，特别是开源数据集、科学研究的文献计量数据以及公开的有害事件数据

1.11. 提供基础人工智能服务的应用程序接口不应随意开放，而应先确保对用户足够了解，这与银行业的部分谨慎做法相似

1.12. 旨在对算法的非有害性进行数学验证，要求模型提供严格的证明，以确保其行为或输出受到明确的限制

• 1.12.1. 为活动记录和能力限制建立保障措施

• 1.12.2. 通过这种方式验证和确认模型的行为，可以为指导和跟踪系统提供客观、规范的手段

1.13. SecureDNA

• 1.13.1. 一个由一群科学家和安全专家发起的非营利项目

• 1.13.2. 只有极少数的合成DNA会接受潜在危险元素筛查

• 1.13.3. 将每一个DNA合成器（无论是家用的台式设备还是偏远地区的大型设备）连接到一个集中、安全且加密的系统中，且该系统能够扫描致病序列，这无疑是一个良好的开端

• 1.13.4. 以云计算为基础，免费且具有加密安全特性，并能够实时更新

• 1.13.5. 对所有合成DNA进行筛查将是一项重大的降低生物风险的举措，且这样的举措并不会对公民自由造成过分限制

1.14. 透明度不是一个可选项

1.15. 仍需要协调和检查，并且要避免诉诸过于严苛的控制手段

1.16. 落实技术安全功能和技术审计措施至关重要，但这需要时间，而我们的时间十分紧迫

2. 技术命门

2.1. 在技术“超级进化”的时代，争取时间尤为宝贵

2.2. 要争取时间以制定更为周密的遏制策略，建立额外的安全措施，测试技术的紧急关闭机制，构建更为完善的防御技术，巩固民族国家的基础，实施更有效的监管，或推动重要法案的通过，以及组建高效的国际联盟

2.3. 在人工智能领域，最新模型所依赖的最先进的GPU主要由英伟达公司设计

• 2.3.1. 英伟达的大部分芯片由台积电公司独家制造

• 2.3.2. 台积电拥有世界上最先进的芯片制造技术，其工厂被誉为世界上最先进、价值最高的制造基地

• 2.3.3. 台积电的用于制造这些芯片的设备则来源于荷兰的阿斯麦公司，这是目前欧洲最具价值和重要性的科技公司

• 2.3.4. 阿斯麦的机器采用极紫外光刻技术，能够以令人惊叹的原子级精度生产芯片，这些机器是历史上最精密的制成品之一

2.4. 芯片并非唯一的技术命门

• 2.4.1. 致力于通用人工智能研发的其实只有少数几个资源雄厚的集团，其中最著名的是DeepMind和OpenAI

2.5. 稀土元素如钴、铌和钨的短缺有可能导致整个行业陷入瘫痪

• 2.5.1. 大约80%的高品质石英（对光伏面板和硅芯片等至关重要）均产自北卡罗来纳州的一座矿山

2.6. DNA合成器和量子计算机并非日常消费品

2.7. 技能也是技术的生命线

2.8. 随着技术的负面影响变得清晰，我们必须利用这些技术命门，即关键的技术控制点，来为技术的发展设置合理的速度限制

• 2.8.1. 目的是确保在科学快速发展的同时，人们能够及时地运用理智

2.9. 利用这些技术控制点来影响特定国家的技术进步，甚至在更大的范围上调节技术发展和推广速度

• 2.9.1. 出口管制不仅是一种地缘政治策略，还可以被视为一种技术遏制的实地试验

2.10. 从长远来看，所有这些技术最终都将广泛传播和应用

• 2.10.1. 通过某些关键的控制点来减缓技术发展的速度

• 2.10.2. 既然有这样的选择，我们就应该抓住机会，同时争取时间

3. 开发者

3.1. 技术发展的驱动力固然不可阻挡，但技术制造者并不能因此逃避对其创造物的责任

3.2. 没有人是被迫进行基因改造实验或构建大语言模型的

3.3. 技术不可避免的扩散与发展趋势并非一张免罪符，也不是一张允许技术构建者随意打造、任由结果发生的通行证

3.4. 技术的批评者也扮演着至关重要的角色

• 3.4.1. 技术的批评者以其特有的方式陷入了一种悲观规避陷阱，这在那些政治、商业和技术精英身上尤为常见

3.5. 有效的批评者应当是实践者

• 3.5.1. 在问题的源头上采取必要的行动，而非只是站在一旁呐喊

3.6. 你离技术的核心越近，你就越有能力影响结果，将其导向更积极的方向，并阻止有害的应用

• 3.6.1. 意味着你将成为推动技术现实的一部分，无论这个现实最终会带来好处还是伤害

3.7. 若没有外部和内部的批评者，困境终将无可避免地向我们逼近

• 3.7.1. 10年前，科技界在各个层面都显得文化单一，很少考虑其他声音

• 3.7.2. 现在的思想多样性比以往任何时候都突出，技术研发过程中融入了更多批判性、伦理性和人文主义的声

3.8. 关于人工智能的伦理研究正在急剧增加

• 3.8.1. 过去，科技领域中鲜见道德哲学家、政治学家及文化人类学家的身影，他们在当时显得颇为另类，但如今已很常见

3.9. 在这个激励机制根深蒂固，而监管体系越发脆弱的世界里，技术不仅需要批评者在一旁提出批评，更需要他们深入技术建设的核心

4. 企业

4.1. 利润驱动着即将到来的技术浪潮

4.2. 传统上，公司的唯一目标就是给股东带来回报，这通常意味着要全力推进新技术的开发

4.3. 在混合型组织结构中找到平衡利润和社会使命的方法，是应对未来挑战的最佳途径，而在实际操作中却困难重重

4.4. 透明性、问责制和伦理准则，将不再是空洞的公关说辞，而是我们所有行动的基石，具有法律约束力，并融入公司的每一项活动

4.5. 谷歌搜索业务的核心知识产权将留在谷歌，但其他知识产权将用于推进DeepMind的社会使命，如研发新药、改善医疗保健、应对气候变化等

• 4.5.1. 既能让投资者获得回报，也能确保社会使命成为公司的法律基石

4.6. 愿景是吸引不同的外部利益相关者，让其能够深入了解技术前沿，提供反馈，并从远离新技术热潮和乐观情绪的外部视角，为我们带来急需的观点和建议

4.7. 脸书已经设立了独立的监督委员会，它由前法官、活动人士和专家学者组成，负责为平台治理提供建议

4.8. 将强大的遏制机制和目标作为法定义务写入科技公司章程，是我们下一步的发展方向

4.9. 虽然经济目标与受限制的技术并不总是完美契合，但创新型企业形式让我们看到了更多的可能性

4.10. 技术遏制需要新一代企业的支持，需要创业者和技术领域工作者为社会做出积极贡献

5. 政府

5.1. 国家仍然掌控着众多文明基本要素，比如法律、货币供应、税收、军事等

5.2. 政府需要更加积极地参与进来，重新投身于真正的技术建设、标准制定以及内部能力的培养

5.3. 深入了解是实现问责的基础，掌握所有权意味着获得控制权

• 5.3.1. 两者都需要政府亲力亲为

• 5.3.2. 虽然如今企业已占据主导，但许多最具探索性的基础研究仍由政府资助

5.4. 投资于科学技术教育和研究，支持国内科技企业发展，能够形成一个积极的反馈循环

5.5. 首要任务应该是加强对技术发展的监控与理解

5.6. 需要公开透明地记录技术造成的所有损害，包括每一起实验室泄漏、网络攻击、语言模型偏见和隐私泄露事件，以便每个人都能从失败中学习并改进

5.7. 负责新兴技术的部长或秘书长在政府中还比较少见，这不应该成为常态

5.8. 仅靠监管并不能实现控制，但任何不涉及监管的讨论都注定无果

• 5.8.1. 监管应聚焦于激励措施，更好地协调个人、国家、公司和公众整体的安全与保障，也要设立紧急制动机制

5.9. 政策制定者的想象力需与技术发展的规模相匹配

5.10. 最先进的人工智能系统、合成器或量子计算机应由经过认证的负责任的开发者来制造

5.11. 模型越大、能力越强，许可要求就越严格

• 5.11.1. 模型越通用，就越有可能构成严重威胁

• 5.11.2. 意味着从事基础能力研究的人工智能实验室需要格外留意

5.12. 财政政策是控制这一转变的关键手段，既能对瓶颈进行控制，又能增强国家的韧性

5.13. 需大力开展技能再培训和教育工作，帮助弱势群体提升风险意识，增强他们参与新技术浪潮的能力

5.14. 为了确保这些企业公平地承担社会责任，我们需要找到一种有效的跨国征税机制

5.15. 政府的杠杆作用、机构建设和专业能力，需要与技术一样迅速更新迭代，这对所有相关方都是一个巨大的挑战

6. 联盟

6.1. 随着激光技术的不断进步，其潜在的致盲风险也日益凸显

• 6.1.1. 激光一旦用于武器制造，就可能使敌军或任何被瞄准的人丧失战斗力

• 6.1.2. 1995年签署的《关于激光致盲武器的议定书》明确禁止使用激光致盲武器

• 6.1.3. 激光武器既不是军队装备的主要组成部分，也不是街头常见的武器类型

6.2. 国家不愿轻易放弃权力

6.3. 禁令都是世界各国团结一致、相互妥协以应对重大挑战的典范，为我们应对即将到来的技术浪潮提供了重要的线索和框架

• 6.3.1. 不扩散核武器条约

• 6.3.2. 旨在禁止氯氟碳化物的《蒙特利尔议定书》​

• 6.3.3. 目标在于彻底禁止生物武器的《禁止生物武器公约》；

• 6.3.4. 为限制碳排放和减缓气候变化负面影响而设立的《巴黎协定》​

• 6.3.5. 全球根除天花的行动

• 6.3.6. 消除含铅汽油的行动

• 6.3.7. 全面禁止使用石棉的举措

6.4. 面对深不见底的危机，地缘政治局势可以迅速转变

6.5. 从诺曼底和硫黄岛的血雨腥风，到如今坚固的军事和商业合作关系、深厚的友谊，以及史上规模最大的对外援助计划，这一切只相隔了短短几年

6.6. 核武器之所以没有广泛扩散，部分原因是制造它们极为困难

• 6.6.1. 长时间的耐心磋商、联合国长达数十年的条约谈判努力，以及在紧张局势下仍坚持的国际合作，这些因素都对核武器的控制至关重要

• 6.6.2. 核遏制不仅关乎道德原则，也涉及战略考量

6.7. 联盟也可以在技术专家或次国家机构层面发挥作用，集体决定资助哪些项目、摒弃哪些项目

6.8. 并不是在呼吁永久禁止生殖系基因编辑，也没有限制其在科研上的应用，更没有主张每个国家都应该走同样的路，但确实是在请求从业者拿出时间来协调一致，做出明智的决策

6.9. 合成生物学目前面临的竞争相对较小，而且新型生物威胁对双方都是毁灭性的

6.10. 如果中美两国能够携手建立一个共同的生物风险观测站，使其涵盖从高级研发到商业应用的各个环节，那么这无疑将是一个极具价值的合作领域，值得进一步深耕细作

6.11. 随着量子计算和机器学习技术的不断进步，这些技术可能会对现有的加密系统构成威胁，因此，两国都需要共同努力来维护这些系统的安全

6.12. 目标不是全面限制技术的扩散，而是制定规则、建立体系来管理和缓解技术带来的风险

6.13. 相较于含糊且不切实际的提案，务实的现实主义更有机会获得成功

7. 文化

7.1. 共同议题是治理，它涵盖了软件系统的治理、微芯片的治理、企业与研究机构的治理、国家治理以及国际社会的治理

7.2. 伦理、安全和遏制，这些都是良好治理的直接产物

7.3. 良好的治理并不仅仅依赖于明确的规则和有效的制度框架

7.4. 航空公司卓越的表现归于多年来技术和操作上的逐步改进

7.5. 对失败以及公众谴责的恐惧会导致裹足不前

• 7.5.1. 及时公开问题本应成为个人和组织恪守的底线，而现实却是那些勇于守住底线的公司和团队并未因此获得赞誉，反而容易成为众矢之的，饱受批评

7.6. 接受失败必须是发自内心的，而不能仅仅停留在口头上

7.7. 遏制技术风险不仅要依靠特定的政策、清单或倡议，还需要培育一种自我批判的文化

7.8. 几千年来，希波克拉底的誓言一直是医学界的道德指引灯塔，其核心理念“Primum non nocere”​（首要的是，不要造成伤害）被广为传颂

7.9. 科学家同样需要遵循类似的道德准则，且科学家绝不能放弃他们的社会和道德责任

7.10. 遵循预防性原则是一个很好的起点，即在构建技术之前要暂停一下

7.11. 行为不能仅仅停留在法律条文或企业口号的层面

• 7.11.1. 法律条文只是国家层面的规定，而企业口号往往是短暂且表面化的

7.12. 健康的技术文化乐于把果实留在树上，愿意在必要的时候说“不”​，愿意延迟收益以确保安全

8. 运动

8.1. 这个世界由无数分散的行动者构成，他们的目标时而一致，时而冲突

8.2. 在社交媒体以外的现实世界，脱离了这个信息泡沫，人们有着截然不同的忧虑

8.3. 如果宏大的“我们”概念未能产生实际效果，那么这将迫切要求我们构建一个真正有意义的共同体

• 8.3.1. 变革往往源于人们的有意识的奋斗

• 8.3.2. 来自公众的压力推动了新规范的产生

8.4. 当谈到新兴技术及其潜在风险时，人们确实关心并希望找到解决方案

8.5. 民众运动在技术遏制中扮演着重要的角色

8.6. 当公众共同要求变革，真正的改变就会应运而生

9. 狭窄小道

9.1. 阿西洛马原则

9.2. 对所有合成器进行DNA筛查是必要的，并且整个监测系统需要构建在云端，这样就可以实时更新，从而对抗新出现的威胁

9.3. 遏制不是终点，而是一条狭窄且永无止境的道路

9.4. 通道一侧，国家权力可能无限扩张，凌驾于社会之上

9.5. 通道的另一侧，国家可能面临体系崩溃，沦为所谓的“僵尸国家”​，即国家丧失对社会的实际控制力

9.6. 安全永远建立在不出错、不落入不法之徒之手的保障之上

• 9.6.1. 对互联网、DNA合成器、通用人工智能研究计划等进行一定程度的监管是至关重要的

9.7. 过度控制只会让我们更快地走向反乌托邦，因此我们也必须坚决抵制

9.8. 展望未来，技术将引领人类走向无数可能的方向，释放巨大的潜能，并具备改变世界的力量

9.9. 如果我们人类能够汇聚新的运动、企业与政府的合力，调控技术发展的驱动力，强化技术能力、知识和安全保障措施，从而扭转当前局面，那么我们就有可能点燃希望之火，沿着那条宝贵的狭窄小道走下去

10. 后人类世的生活

10.1. 基于蒸汽和机械自动化的技术彻底改写了生产、劳动、价值、财富、能力和权力的规则

10.2. 并非所有人都对这样的变革感到欣喜

10.3. 长期来看，曾经给社会带来巨大痛苦的工业技术最终极大地提高了人们的生活水平

10.4. 唯一的方法就是从一开始就正确应对技术

• 10.4.1. 最紧迫的任务不是盲目跟从技术浪潮或徒劳无功地试图阻止它，而是要学会引导和塑造它

10.5. 即将到来的技术浪潮将彻底改变世界

• 10.5.1. 将成为我们的私人智能代理，扮演帮手、密友和同事的角色，也是我们的“参谋长”和翻译

10.6. 太多人对未来的设想都是基于技术能够或可能实现什么，但这其实是个错误的出发点

• 10.6.1. 技术人员除了关注工程细节外，更应该致力于想象和构建一个更加丰富多彩、更具社会性的未来

• 10.6.2. 这个未来是一个复杂的交织体，而技术只是其中的一部分

• 10.6.3. 虽然技术无疑是推动未来发展的重要力量，但它并不是未来的核心，也不是真正重要的问题

10.7. 我们人类才能决定未来的走向

• 10.7.1. 技术应该放大我们的优点，为创造力和合作开辟新道路，与我们生活中的点点滴滴和珍贵的人际关系相得益彰

10.8. 失败的风险之大简直难以想象，但我们必须勇敢面对