~2m2:09:09
The Students

Richard Ngo — What Makes Hierarchy Legitimate (Human Or Not)

2026年9月8日

Read: ~1m · You save: 128 min

理查德·恩戈论何种等级制度具有合法性(无论是否为人类)

AI对齐研究者理查德·恩戈与主持人探讨人类是否构成政治实体、尼采式的道德困境,以及在AI竞赛中如何建立健康的等级关系与合作基础。

引言

理查德·贡(Richard Ngo)曾在OpenAI工作,长期从事AI对齐研究。他在社交平台上围绕政治与伦理思想发表了大量观点。此前,对话的另一方发表了题为《人类问题》(The Problem of Humanity)的演讲,提出"异种主义"(xenohism)的概念,并宣称要对人类发动战争。本次对话围绕这一演讲展开,焦点在于人类的道德地位、合作的基础,以及AI时代的权力结构。

一、对平等主义的批判与人类概念

Ngo认为,当前西方存在一种有毒的激进平等主义。这种思潮已经在多个领域确立了禁忌。它在经验上站不住脚,且内容空洞。他指出,其根源可以追溯到《独立宣言》中"人人生而平等"的表述,以及基督教传统。

Ngo表示,拒绝这种平等主义是合理的。但他进一步指出,拒绝之后需要回答:如何思考社会秩序,以及应当走向何处。

对话者解释,异种主义并非平等主义的对立面。其核心主张之一是:当代人类的自我概念与尼采所说的"最后之人"十分接近。人类把自己想象成一种需要被保护的、饥渴而缺乏好奇心的存在。

对话者进一步主张,AI领域的巨大热情与投入,部分源于人类在政治自我认知中受到压抑的更高抱负。这些抱负包括征服星辰、提升智能、彻底变革世界。这些抱负被压抑后,转而投射到非人的AI之上。因此,AI不受人类自我限制的约束。

二、两种观点的区分

对话者将自己的观点分为两个层面。

第一,经验层面。 对话者认为,尼采式的"原始观点"(raw Nietzschean view)基本正确,它较为准确地描述了世界运作的方式与现实状况。

第二,规范层面。 这种原始观点无法作为社会组织的基础。激烈的竞争与超越欲望若被作为社会原则实施,无法形成可持续的社会。因此,必须在双方都认可的基础上寻找合作的依据。

对话者提出,需要一种新的"奴隶道德",以取代当前已经失效且过时的版本。他同时指出,需要一种新的社会契约,以解决当下的问题。

Ngo强调,对权力与协调的分析,并不能直接提供一个可用于社会合作的结构。这种分析能够揭示局势,但无法提供合作的规范依据。因此,需要共同人性、平等或某种道德互惠等概念作为基础。

对话者提出,应当有意识地寻找一种道德亲缘关系,其基础不同于"最后之人"式的相互相似。这种亲缘关系应能灵活纳入AI智能体,并能够修正当前人道主义意识形态中过度平等的承诺。对话者表示,这一规范主张与其关于人性和宇宙历史的经验判断是相互独立的。

三、亲缘关系的作用与互惠

对话的一方提出疑问:这种亲缘关系能带来什么?如果AI被视为"同类",即使它们比人类更聪明,是否就可以主导一切?

对话者回应,互惠是必要条件。亲缘关系不能是单向的。他并不主张放任AI发展。

对话者指出,依据其观点,尤德科夫斯基式的正统框架所依赖的一个核心假设并不成立:未来的全部价值光锥并不在桌面上,没有任何人能够真正掌控它。未来的模式将是生命与价值的各种形式在不断演化中重现。

因此,问题不在于如何夺取宇宙中未来的价值,而在于当下如何生活、如何取得良好结果,以及如何在人类能够施加控制的范围内,保存已经拥有的智慧、财富与文化遗产。

对话的另一方对"未来价值"这一概念表示怀疑,认为它采用了一种"无人视角"。对话者表示认同。他在2023年发表的《God hates singletons》一文中指出,任何一个效用函数都无法掌控未来的全部价值。由此可以推出,人们不应以这种方式思考价值。

对话者认为,AI对齐领域流行的"天文级利害"论证是错误的。人们应当从眼前的利益、直接的能动性与现实的联盟出发思考问题。

四、从价值到存在:一种相反的视角

对话者提出,可以从相反的方向理解价值。这一思路借鉴了尼克·兰德(Nick Land)的方法。传统做法是从效用函数出发,反推应当采取的行动。兰德的方法则从可得选项的集合及其结构出发,再识别出其中的价值。

例如,如果某个行动能够获得更多行动能力,从而积累更多财富、权力或智能,那么价值就在这一轴线上显现。一个行动者能够过上什么样的生活,取决于其实际拥有的选项格局。这一现实状况决定了其存在的类型,并由此构造出其价值。

对话者同时表示,他对用单一价值谱系来衡量一切的做法持高度怀疑。价值判断中包含大量选择,也存在大量战略性的模糊性。人们必须作出某种信念上的跳跃,并主动去构建价值。

五、集体与群体:什么是人类

对话者认为,应当把人类的良好发展视为大型实体的繁荣,例如人类整体、美国或其他共同体。在这些实体的范围内,他希望它们能够成长并兴盛。

对话者承认,健康的群体难以用单一的客观指标衡量。例如,人体或国家的健康,无法被简单量化。在某些情况下,比较两个实体并判断其中一个在某项指标上表现更好是有用的。但这些指标并不具有决定性。

他同时指出,个体的价值无法用统一标准衡量。若一个人是日本人而非美国人,其所珍视的事物与身份认同都会不同。因此,不同主体之间的价值无法在单一标准上比较。

对话者仍然希望这些主体能够成长与繁荣,使人类整体、各个子群体与每一个个体都能构建自己希望拥有的未来。

Ngo对"人类"这一概念提出质疑。他指出,美国至少有一套正式的指挥结构,能够实际采取行动。而人类并没有任何有组织的集体能动性。他在经验层面否认"人类"作为一个政治实体的现实性。"人属"(genus Homo)作为生物分类是成立的,但它本身不足以构成集体行动的基础。现实中存在的是各种人类群体,它们形成于不同层次的组织、亲缘、同志关系与各种关系形式之中。这些才是真实的存在。

对话者认为,"人类"不仅不是政治概念,甚至可能也不是道德概念。

对话者回应说,当存在对立的联盟时,联盟内部会结合得更紧密。他指出,目前人类整体已经能够在若干议题上协调行动。例如,各方都认为核战争对人类有害。但这种协调是有限的。

Ngo区分了两种协调形式:

  1. 以联合国安理会为代表的协调。 各国坐下来同意彼此不毁灭,因为这对所有人都不利。这种协调能够产生一定水平的合作,但并不完美。对话者认为,这种不完美源于结构性原因,而非人类天生不擅长协调。
  2. 西方内部基于宗教的协调。 这一框架借用了莫尔德巴格(Mold Bug)的"大教堂"模型。西方的权力体系由大量制度构成,在一定程度上作为一个统一实体对外行动,也对内部的分歧进行管理。它能够组织起相当强的能动性,例如推动解决全球变暖问题。但它的合法性叙事认为自身服务于全体人类,而实际上它是一个比全体人类狭窄得多的实体。

对话者认为,服务全人类与服务自身利益并不矛盾。科研机构可以同时为了全人类和自身利益而工作。

六、AI时代的人类协调

对话者认为,只有当AI也成为有智能的行动者时,以人类身份进行协调才会变得有用。因此,在未来几十年内,"人类"作为协调单位的显著性将持续上升。

Ngo认为,人们对人类与人类概念的敏感度确实因AI的兴起而提高。但与此同时,人们也可能因为发现自己与包含AI的某一派系利益更一致,而降低对"人类"概念的敬重。他预测,"人类加AI"与"人类加AI"之间的政治对立,将比"人类"与"AI"之间的对立更为突出。

对话者认为,这种情况是可能的,但取决于人们如何组织。他认为,"人类加AI"对"人类加AI"的组织方式相当粗糙。原因在于,在这种格局中,最优策略是把全部权力交给自己的AI,而对方也会如此。

Ngo指出,这正是战争的本质。在战争与军备竞赛中,那些能够提供最大战争能力的人、子系统或实体,会获得最大的内部权力。两次世界大战即是例证:社会从科学处于边缘,发展为二战后科学家与高度技术官僚化的现代国家处于中心,其他一切则被彻底边缘化。这是因为,这种组织方式下的社会技术能够在战争中提供关键的权力类型。

因此,Ngo认为,在这类冲突中,权力会自然地流向最有效的一方,他认为这一点无法避免。

七、滑坡与协调

对话者不认同这一判断。他认为,从长远看,失控的滑坡对所有人都有害。因此,人们可以在看到滑坡时,主动协调以避免滑下去。

他观察到,许多关注AI风险的人有一种思维习惯:看到滑坡后,便认为无法避免滑落,于是率先滑下去。

Ngo同意这一观察。但他认为,对话者可能也在以异种主义重复这一模式。他指出,人类之间有大量共同利益,例如所有人都关心地球的宜居性。人类作为一个自然的联盟,值得为之努力。至少应当采取不积极破坏这种协调的策略。

对话者随后提出关键问题:这种协调究竟有多大的可能性?如果人类可以作为一个整体停止滑向发展更先进AI技术的道路,而这种技术可能取代人类,那么这种行动可能是正当的。问题在于,一个庞大群体能否在面对假设性敌人时维持合作。

Ngo回应说,这一敌人正变得越来越不假设。但随着它变得真实,人类也已经在某种程度上失去了立足之地。关键问题在于,能否阻止事态进一步恶化。

对话者认为,这一问题的本质是合作本身。他认为,从历史与制度的角度看,合作通常的运作方式并不指向这种协调会发生。

Ngo表示,较为有限的合作是可能的。例如,目前没有人投放核武器。核武器成本高昂,而且并不能带来多少收益,因此不应进一步推动这类问题。但在AI竞赛升温的背景下,各方之间实现相互裁军的前景变得更难想象。

对话者认为,这一点是判断真实可能性范围的关键分歧。他同时表示,未来在他看来仍然是开放的。

对话者指出,人们可能误解"基于共同人性的协调"。过去,这一概念曾被用来指向平等主义式的协调。但他所指的,是具体的政治行动者之间的协调。例如,设想习近平与特朗普或其继任者通过对话达成一致:双方都更希望由人类而非AI掌权。这样的共识需要被转化为实际的安排。

Ngo指出,人属作为真实的共同体,是建立在具体的物质事实之上的,例如人类偏好某些特定的气温与大气成分。此外,人类也会产生恐惧。如果中国由超级智能AI统治,对美国的前景显然比由非超级智能的人类统治更加不利。

对话者认为,人类概念与当前的定义相互交织。当前对人类的定义,是把人类当作一种有限的、不具威胁性的存在,并试图将其保持在这种状态中。他认为,即使不考虑AI,一个不再受人类概念约束的、由人类统治的中国,也会更加可怕。即使把人类与"同为猿类的共同利益"放到一边,当今世界上的大国,或至少是最先进的大国,也没有做某些可能使它们更加可怕、更加强大的事情。它们之所以克制,是因为存在一种不违背某些禁忌的习惯。这些禁忌限定了哪些协调方式、哪些国家利益是可以被考虑的。

Ngo认为,这些禁忌是二战后形成的。目前世界上几乎没有国家真正奉行民族主义。中国则在某种程度上实行民族主义,但其方式是有限的,并不深入追问"民族"本身是什么。

对话的另一方对此持怀疑态度,认为无法从外部判断中国内部对"民族"的思考深度,但仍表示对这一判断感到惊讶。

对话者随后表示,中国在意识形态上实际上更接近共产主义而非民族主义。他同时认为,中国在意识形态上可能比民族主义更接近共产主义。他提到,中国重视"百年国耻",但这与可能的民族主义组织与民族主义目标之间的区别仍然很大。他认为,这一区别在当前历史阶段并不明显,但随着中国变得更加强大,它会变得明显。

对话者同时认为,中国的协调方式可能最接近"真正的"做法,但世界上大多数国家都在主动克制这一方向。他认为,这种克制不会持续太久,因为禁忌终将以某种方式被打破。

Ngo补充说,这些禁忌是可以建立的。例如,核电在很大程度上已被限制。目前仍有民用核电站,也存在某些用于浓缩铀的非民用核设施。但人类并未像1965年时的经济学所预测的那样,全面走向核能的未来。

因此,AI也可能被像核能或民族主义那样对待:社会决定不走那条路,因为那很危险。但对话者认为,现有禁忌不足以支持这一点。他认为,只有在发生重大战争之后,这种禁忌才可能形成。

八、战争、禁忌与种族政治

对话者提到,他在演讲中提出:当前人们谈论AI的方式,与一百年前谈论种族的方式相似。两者都被视为权力的广阔前沿与极其重要的竞争领域,人们基本上正在为此准备一场重大战争。

Ngo认为,一百年前的种族意识形态竞赛,与今天在欧洲内部的AI竞争具有相似结构。人们使用的语言,同样是高度尼采式的,强调权力与优越性。AI之所以被这样讨论,是因为AI不受现有禁忌的约束,这些禁忌原本阻止人们怀有这类野心。

对话者表示,这正是其整体论点的一部分:西方已经成功地封锁了核能与种族政治的前沿,但这些前沿正以各种方式从侧门溢出,转入AI及另一种形式的种族政治。

Ngo认为,如果不通过某种重大冲突,这一趋势不会停止。这种冲突很可能会重新开启许多目前已不再那么可怕的其他战线。

他进一步指出,战争之中的情形很可能是:不会有人在战争中停止,只有在战争之后,某一方取得优势,才有机会建立关于技术能力应走多远的禁忌。

在战争期间,各方会加速AI能力的发展,以在战争中取得优势。这种情况已经在乌克兰出现。中美两国尚未将AI直接与明确的战争目标联系起来,但这种情况可能会发生。

对话者补充说,即使不是外部战争,例如中美之间的战争,美国国内的持续政治分裂也可能引发重大内部冲突。这种冲突同样会加速AI的发展。

Ngo表示,他的核心论点是:他对协调是否真的可能持怀疑态度,并有多种理由。他同时认为,"协调不可能,因此应当投入递归自我改进的军备竞赛"是一种糟糕而危险的推理。他并不主张投入这一竞赛。但他认为,人们必须仔细思考其可能带来的后果,并在哲学上为此做好准备。

九、尼采式二分与第三条路径

对话者尝试概括双方的分歧:尼采式观点认为,道德由贵族阶层与下层阶级之间的对比所界定。平等主义的禁忌基本上认同这一观点,只是主张将其颠倒。

Ngo认为,平等主义者确实在某种程度上采用了"同意并放大"的做法。他认为对话者在某种程度上过于同意这些禁忌。对话者不认为这些禁忌应当继续存在,但认为如果没有它们,社会就会走向主人道德。

Ngo提出了两种替代方案。

第一种是安·兰德(Ayn Rand)的观点。 这种观点追求卓越,但卓越并不是以对下层阶级或"恶"的对立来定义的,而是纯粹指向善。他认为殖民主义对殖民者本身并无好处,它是主人道德的一种错误。这种错误看似可以理解:征服了大量领土,似乎理应带来好处。但实际上,它并没有使殖民者受益,并在长期中反而拖垮了他们。因此,每个欧洲国家更好的选择,可能是保持"华丽的孤立",专注于追求某种良好社会的愿景,或者像在澳大利亚与北美那样追求领土扩张,而不是像在印度那样的行为。

对话者同意这一判断,但认为兰德并不像她自己所想象的那样摆脱了尼采式框架。他认为兰德在许多方面仍然具有尼采色彩,尤其是推崇创造者,将超人式的创造性人物视为人们应当效仿的形象。

Ngo表示,兰德的思想并非以对比来界定,也许他自己在定义时也没有把它定义为对比。对话者认为,这不是对尼采的准确刻画。他建议,可以把问题概括为主人与奴隶的二分,而人们正被困在其中。兰德与在某种程度上尼采,都试图跳出这一二分。这至少是第一步。

Ngo同意不应被困在这一二分之中。他指出,殖民主义与奴隶制的问题也是原因之一。它们同样是有害的,甚至对主人本身也有害。它们并不是良好的集体策略,无法创造长期的财富或权力,而只会在短期内带来大量负债。他认为,它们更像是社会化的负债,而不是生产性的策略。

对话者补充说,这种社会契约的结构是:某些人获取领土与人口,并与之形成政治纠葛。社会其他成员则承担后果,而获利的只有一部分人。Ngo认为,这种做法有时被误解为"去做奴隶主"。但他认为这并不是他所主张的,无论尼采是否这样主张,那都不是他的立场。

第二种是"健康的等级关系"。 Ngo认为,这种关系建立在忠诚与信任的纽带之上。领导者与被领导者之间,存在一种相互的义务。他认为,在讨论的各类问题中,这正是缺失的关键要素。随着人类走向更为技术化、超人类化的未来,人与人之间的能力差距将会扩大。人们需要一种理想来指明:当处于这种等级关系中时,应当是什么样子。

对话者认为,封建社会虽然存在不平等的互惠,但并不算理想,因为它太接近奴隶制。Ngo同意这一点,但认为可以考虑一个更为接近他所认可的例子。

Ngo举例说,早期马萨诸塞湾殖民地的约翰·温斯罗普(John Winthrop)总督曾撰写文章并发表布道,题为《基督教仁爱的典范》(A Model of Christian Charity)。"山巅之城"的概念正是由此进入美国的神话。

温斯罗普在这一文本中阐述了北美清教徒英国人应当如何生活的社会契约。其核心观点是:每个人都应当对自己的事务负责,同时人与人之间存在仁爱的纽带。这涉及什么时候应当帮助需要帮助的人,什么时候是懒惰的赤贫,何时是商业借款,何时是慈善借款,以及人们在其中的各种义务。文本详细讨论了如何在十七世纪的商业、社会关系与技术条件下,安排这些关系。

Ngo认为,他所说的那种平等主义,正是这一意义上的平等主义:社会中的每个人都被期望能够在某种意义上照顾自己。同时,社会也明确承认,存在富人与穷人,存在高低之别。温斯罗普从上帝的智慧出发,解释了这种差异为何是一种善。但他并没有主张这是一种种姓制度,也没有主张上层应当压制下层。

Ngo认为,这种社会中存在彼此的义务。即使有人陷入困境,也不能因此抛弃他们。共同的人性标准依然存在,每个人都被期望达到这一标准。

Ngo表示,这在某种意义上是一种奴隶道德,其中包含基督教奴隶道德的成分。但它并不是完全的怨恨,也不是拆除一切等级的做法。他不认为这是中间立场,而是对这些不同问题之间的一种明智均衡。他认为,这正是使社会运转所需的东西:社会成员之间存在某种社会契约,使他们真正承担彼此的义务。

对话者同意这一点。他指出,人们必须能够彼此信任。例如,我可以陷入困境,而我的邻居会来帮助我。

Ngo认为,随着未来变得在技术上更加强大、人与人之间更加不平等,重新发现这种关系就成为核心问题。他的研究兴趣之一,是在异种主义框架中找出人们可能在彼此身上认出的东西,以及这种关系所要求的义务。这种情况尤其适用于未来的某些智能体,它们可能不再是人类意义上的存在,既不是猿,也不是人属。

这一推理路径并非整个项目的全部,但它确实是项目中的一个重要分支。

对话者补充说,这一问题建立在假设我们会进入那个世界的前提之上。与此同时,还有另一个问题:生物人类,作为生物人类,是否能够选择不进入一个使我们变得过时的世界。

Ngo认为,这并非二元选择。生物人类拥有的集体谈判能力越强,就越能够引导世界朝着一个我们确信AI与人类之间存在健康等级关系的方向前进。因此,这里存在一种路径性的过程。

他表示,他目前的研究主要集中于三个最相关的概念:信任、忠诚与尊重。他认为,现有的标准框架,尤其是经济学框架,使得人们很难在原则层面上推理这些概念。因此,博弈论、逻辑学等形式化研究,有助于清理道路,使人们能够以原则性的方式思考这些概念。

对话者认为,这正是一个很好的例子,说明人们需要进行的推理方式:将许多被视为道德概念的东西,重新建立在关于智能体之间关系的技术性推理之上。这种推理可以暂时搁置特定的宗教框架,或者人是猿、人是自然存在物之类的特定观念。

问题可以具体化为:两个智能体相互忠诚意味着什么?一个智能体拥有荣誉意味着什么?智能体相互尊重意味着什么?Ngo认为,这些问题是有答案的。

对话者补充说,尤德科夫斯基式的正统观点可能会认为,这些概念在一个狭小的、平静的无知之岛之外毫无意义。这个小岛被洛夫克拉夫特式的恐怖之海所包围。人类的类人切片只占据了心智空间的一小部分,而绝大多数可能的心智都与之完全不同。对话者认为这并不正确。他认为,与人类相关的道德概念,实际上相当多地具有自然内容,它们是与能动性和智能本身相关的自然概念。

十、两条研究路径与"健康的等级"

对话者指出,双方在这一点上基本一致。他提出了两个可以继续讨论的方向:一是阐述他对尤德科夫斯基式观点,以及主流学术与经济学视角的批判,并说明为什么这些视角难以界定这些关系性概念;二是双方都同意健康的等级关系非常重要,然后追问如何防止它演变为种姓制度。历史上是否有人真正做到了这一点?

Ngo认为,从历史上看,等级关系通常确实会演变为种姓制度。尤其是当权力的性质使得极少数行动者能够统治其他所有人时,更是如此。但即便如此,统治者仍然需要其他人。

他解释说,奴隶制在实质上是一种对各种实际不平等的回应。这种不平等并不只是人们受到不同对待,而是人与人之间确实存在差异,或者由于技术条件等原因,权力分布存在巨大差异。于是,少数人可以从下层阶级中榨取劳动,将自己隔离在"泡沫"之中,用权力从下层获取劳动,并使自己更加富裕。由于他们与下层阶级之间并不存在更深的社会关系,因此他们并不在乎下层阶级是谁,或者其作为邻居的素质。他们可以引入外国奴隶,或征服已经属于外国的人群。

对话者认为,这种情况在历史上确实发生过。它通常对主人社会的长期发展不利。但它是一种经验条件,而让局面反转的,有时是技术条件的变化。例如,拿破仑时代的情况,以及现代大规模生产步枪和其他枪械的能力。Ngo认为,大规模生产枪械虽然在当时还不完全是步枪,但已经使大规模的忠诚军队成为可能。这些军队原本是农民,现在成为政治秩序中更加平等的公民。这一政治秩序建立在能够动员大量人口的能力之上。

这种动员能力带来了各种形式的社会平等。因为权力被更广泛地分享,人们之间的关系就必须更加平等。于是,婚姻禁忌会逐渐瓦解。人们会跨越阶级界限通婚,也会跨阶级地形成各种社会联系。

因此,问题在于:我们将进入哪种未来?应当如何恰当地回应它?人们自然会以某种方式回应,而是否存在一种明智的回应方式,则是另一个问题。

Ngo表示,他想听听对话者是否赞同这些观点。他认为,我们似乎正在走向一个更加不平等的未来。技术的本性可能会使这一趋势更为复杂,尤其是与支撑不平等的产权体系、官僚体系最终将如何运作有关。

他同时认为,人们普遍认为未来将更加反民主,似乎并不如人们所想的那样明确。人们通常认为,国家可以压制所有人,强行实施其意志,民主权力毫无意义。但这种判断可能是错误的。真正能够协调彼此行动、且不属于权力精英的群体,其力量依然存在。Ngo表示,他对此并不确定。但他认为,人们对未来走向更加不平等的默认假设,依然是最可能的情形。

十一、退出权与新城市

Ngo以退出权作为核心论据之一。一个群体可能想要退出,但无法做到。原因有两类:一是协调与物质条件的不可行,包括协调的成本与退出所需的财富;二是压迫。

他认为,第一类障碍有可能随着时间的推移而消失。例如,目前如果你与五千名朋友希望在非洲某地建立自己的城邦,并从当地购买土地,资金通常并不是障碍。某个非洲政府很可能愿意接受这笔资金以换取土地。

对话者指出,资金并不是瓶颈。真正的限制在于获得协调的许可。20世纪曾有人尝试类似的做法,但联合国军队可能在宣布主权后的七十二小时内就进入该地,如果宣布者的项目不被接受。

Ngo认为,这更多是意识形态问题。对话者则认为,这不仅是意识形态问题,而是权力条件的问题。如果存在一个能够阻止此类事件的庞大国际权力结构,那么必然会有人提出意识形态来为其行使权力提供正当性。意识形态确实会影响权力的具体运用方式,但对话者认为,这更像是一个次要问题。

对话者认为,另一个问题是生活条件。在非洲中部生活本身已经十分艰难,建立自己的城市也颇为艰苦。但这一障碍可能随着技术进步而消失。例如,建立一座与旧金山同样宜居的城市,需要多长时间?如果有大量资金,并有机器人协助施工,且不受旧金山那样的城市法规限制,那么建设时间可能大大缩短,也许只需五年左右。

Ngo以中国城市的发展速度作为参考:如果一个地方拥有资本、政治许可与协调能力,建设新城市的速度会相当快。

然而,对话者认为,这一趋势也可能反向发生。技术使更多事物成为可能,它未必只会提升底层的能力,也可能拉开顶层与底层的差距。由此,城市之间的吸引力可能会出现分化。

Ngo表示,他并不是说旧金山未来会有什么不同。他的意思是,在真正利用新技术的地方,生活方式本身的吸引力将会非常强,以至于离开那里在生活层面上会比现在更加困难。

他进一步指出,技术与社会条件决定了两种生活方式的对比:一种是与五千名最亲密的朋友一同在荒野中自立生活,另一种是在大城市中挣扎求生,或在特定历史时期中繁荣发展。这种对比会随着技术与社会条件而起伏,与精英与大众之间的权力对比相似。

如果情况是:人们已经建立起适合生活的地方,例如可以养育孩子,拥有良好的教育体系,并能够在街道上行走而不被骚扰,那么这种状况是好的。否则,问题就在于大多数国家中只有很少的地方能够提供他们所希望的自主程度。这正是他所关心的退出权问题。

对话者指出,此时政府面临两种选择:要么进来,压制你的新城市;要么不压制。现在压制并不困难,因为建新城市很难。但一旦新城市建成,建设可能并不需要太长时间,而现有体制的反应又很慢。那么,它会直接进来轰炸你吗?因此,他的观点是:未来退出权可能变得更容易实现。与今天相比,未来要压制退出权,就必须采取更加明显的压迫手段。

Ngo表示怀疑。他认为,基线的发展趋势是:技术规模化会导致中央集权与不平等的增加。这既是技术进步的来源,也是其结果,并且会使大型中央权力结构相对地更加强大。这些结构可能会试图压制你,并对你作出反应。

他举例说,你获得了一种快速的新AI技术,可以比任何人类机构行动得更快。但对方同样可以做到,并且拥有更大的预算。它们可能会用类似Claude的AI工具追捕你。你会拥有一个个人化的AI代理,而对方则可能用AI监控你的每一个想法,一旦偏离就将你纠正回来。

对话者认为,这些情形都是可能的。他指出,人们担心所有制度都会陷入"最后之人"式的状态,失去欲望与协调能力。这是一个喜忧参半的问题:它显然是坏的,但也未必完全是坏的。

他进一步认为,关于未来,我们应当预测的一点是:当前一代制度显然正处于衰败周期之中,它们变得越来越冷漠,越来越无法协调。但这也意味着,新一代制度会随之出现。例如,中国的间谍在美国可能会比我们希望的更有影响力,墨西哥的贩毒集团与各种族裔游说团体,也可能会占据国家留下的空间。如果讨论的是一个新的权力正在崛起的世界,那么这正是新权力能够崛起的世界。

Ngo认为,问题在于:就西方人而言,我们的社会权力与现有国家高度绑定。国家是我们创造出来,用来承载权力的工具。作为这一交易的一部分,国家对我们拥有不成比例的权力。

随着国家走向衰落,它的衰落方式往往像自身免疫性疾病:与自己的人民作战,或者逐渐失去权力,最终只能统治自己的人民。于是,它会成为压迫的工具,成为我们自身压迫的载体。

与此相反,那些历史上没有与国家深度绑定的人,并不具有同样的关系。因此,衰落中的国家确实为新事物留出了空间,但这并不意味着我们会变得自由。恰恰相反,由于我们与国家存在历史纽带,我们可能会在国家衰落的过程中变得更加受压迫。

对话者表示,这正是他所担心的情形:我们如何摆脱国家的束缚,是一个关键问题。

他引用尼采的观点,指出尼采在《查拉图斯特拉》中谈到过这一问题:国家终结之处,正是通往超人之桥开始之处。国家具有使人变成"最后之人"的效果,因此,摆脱国家束缚是必要的。

Ngo认为,双方可能在这一点上是一致的。问题在于,既有坏的可能性,也有好的可能性。他所关注的,是两个问题同时存在:第一,国家已经转向反对它过去所代表的原则与人民;第二,AI将深刻扰乱权力的版图。

他认为,这两个问题之间的相互作用并不清楚。它们可能会相互加剧,也可能会相互抵消。他认为,这可能是人类面临的最关键的历史问题之一。一方面,AI正在快速发展,且很可能会有更多的发展。另一方面,西方民族国家的概念正在衰落,并可能被拆分、重组或演变为其他形式。这些图景如何相互作用,是核心问题。

Ngo表示,他对这一问题的看法比许多人都更加悲观。

对话者认为,乐观与悲观的区分在某种程度上是人为的。他指出,局势确实仍然充满变数。特朗普、英国脱欧以及欧洲正在发生的事件,使他对民主的信心比以前有所增加。

Ngo对此表示认同,并解释说,他之前提出的保留意见,正是关于未来究竟会有多民主。他认为,一种广义的、扩展的精英共识,已经比现实权力平衡所允许的更加反民主。

对话者同意这一观点。他认为,社会中存在某种文化、伦理、原则与智识理解,能够解决这些问题。例如,觉醒文化横扫各个机构,而一个好的版本同样可以横扫各类意识形态。关键问题在于:什么样的搜索过程能够创造这种意识形态的可能性?而这一搜索过程本身又会创造什么?

十二、理论工作与"非边际主义"经济学

Ngo介绍了他的研究过程。他认为,核心问题在于现有框架隐含地无法处理多智能体动态。我们的智能、理性等框架在多智能体情形中十分粗糙。

例如,期望效用最大化的框架假设:我是决策者,其他一切都是我周围的世界。我会优化并尝试控制它。而其他人同样处于世界之中,于是我也会尝试控制他们。这一范式在遇到博弈论时就会失效。一旦遇到其他智能体,它就失效了。尽管人们仍然在使用它,但它早已被认为是失效的。

Ngo认为,博弈论并没有真正解决这个问题,它只是绕开了问题。博弈论引入了均衡的概念,但并没有告诉人们如何达到均衡。我们从一个游戏开始,面前可能有五种不同的均衡状态,而博弈论没有提供在原则上如何在这些均衡之间移动的方法。

博弈论中的民间定理表明,在重复博弈中,几乎任何均衡都可能出现。人们可以处于"天堂均衡",即所有人都任意友善,因为这种状态是稳定的。人们也可以处于"地狱均衡",即所有人都任意残忍,因为如果有人更友善,别人就会更残忍地对待他,于是大家都陷入相互伤害。因此,任何均衡都是可能的。在这个意义上,博弈论未能描述"我们在玩游戏,那我们应该怎么做",以及"我们应该如何走向某一均衡"的过程。

Ngo认为,他要解决的核心问题可以概括为:均衡在博弈论中是一种"变通",而不是真正的解答。

对话者认为,这正是关键问题:人们遇到博弈论时,会发现它在最好的情况下只能处理部分问题。Ngo在思考博弈论以及由此衍生出的决策理论时,发现自己在不断重新发明一些具有传统智慧的概念,例如荣誉。荣誉可以在某种程度上获得博弈论的基础。一个人坚持某种待遇与承诺,并非因为在某种天真的效用最大化中这样做能够提高自己的效用,而是因为这种行为所激励与促成的与他人的互动,会形成更好的状态。通过这种方式,人们可以从博弈论中回收许多有趣的美德伦理思想。

Ngo表示,他想知道对话者会如何超越博弈论,或如何组织这类思考。

对话者认为,在博弈论框架中谈论荣誉这类概念是有路径的,但他认为目前还没有到达那一步。一个核心原因是"承诺竞赛问题"(commitment races problem)。如果我承诺自己是荣誉的,那么别人就会认为这一点是理所当然的。于是,你似乎应当先承诺忽略我是否荣誉,因为无论我是否承诺,结论都一样,因此我承诺荣誉就没有意义。

对话者指出,从历史上看,荣誉似乎是以社会均衡的形式出现的,而非个体单方面的行为。

Ngo认为,我们需要弥合的缺口在于:这是一个稳定的均衡,但理性主体如何进入这种社会均衡?

对话者提出,这些东西很大程度上必须来自行动者的能动性之外。例如,可能存在某种创立者、立法者或某种神圣干预,使事物进入良好均衡或不良均衡,而这与参与者自身的能动性无关。

这一挑战还意味着:如果他们能够通过自身能动性建立某种均衡,那么也能够通过自身能动性撤销或颠覆它。但他们为什么要这样做?

Ngo回应说,如果他们有能力改变均衡,那么一个行动者就可能拥有改变游戏的能力。这意味着你正在玩一个不同的游戏,因为游戏中已经有至少一个行动者能够以可能破坏均衡的方式改变规则。于是,又会出现一系列新的均衡问题。

因此,在博弈场上引入改变均衡或解决协调问题的能力,本身就是一种改变游戏的超强力量。Ngo认为,当人们遇到这一问题时,最终必须承认:我们获得均衡的能力,在某种意义上是来自外部的。

对话者表示不同意。他认为这是经典博弈论与他的观点之间的核心分歧。在经典博弈论中,人们处于一种均衡之中,因为每个人的行动都是对其他人行动的理性最优反应。如果我做另一件事,那么这一均衡就会崩溃。在经典框架中,无法解释我为什么要做别的事,因为我们已经假定我是理性的。

他认为,大多数社会现象更好地被理解为使均衡变得稳健的过程的一部分。例如,规范之所以存在,不仅因为大家都做同样的事,还因为如果有人偏离,规范的一部分就是惩罚偏离者。有时,人们可以凭借意志力建立新的规范体系,拒绝受罚,并吸引其他人跟随。但这是一个非常艰难的过程,因为规范自身内置了防御机制。这正是稳健均衡的来源:如果任何个体试图改变规范,他都在逆势而行。当然,在最初设立规范时,必须有人拥有某种巨大的权力。

Ngo回应说,规范的全部关键在于,人们无法强制规定规范。规范是通过许多人各自稍微推动朝向其希望看到的方向而逐步生长的。

对话者提出,问题在于功能性规范通常是通过某人的设计而来,而那些自然生长出来的规范,往往功能失调,或者处于不良均衡或中间均衡之中。

他举例说,如果我们观察一个狩猎采集部落,他们拥有一些相当合理的规范,例如如何分配肉类,如何决定谁负责领导等。对话者认为这些规范是有人设计的,而 Ngo 认为可能存在某种权威人物在维持这些规范。

Ngo补充说,即使如此,自然过程中仍然可能产生良好的均衡。将人们置于某种情境中,他们会找到通往良好均衡的道路,因为这在理性上是合理的,问题也并不那么复杂。但在历史上,当人们观察一个社会的法律或规则时,它们往往是由特定的政治事件奠定的。某个人获得了巨大的权力,并重新塑造了一切。在生活于其中的人看来,这个人几乎可以被视为神启的,他作为创立者颁布法律,其他人则不得不遵循。

对话者认为,Ngo在这里重新引入了主人与奴隶的二分,而他希望突破这一二分。在这一框架中,人们要么在平等的方式中随波逐流,要么有一个权威人物颁布法律。对话者认为,人们选择规范的一部分方式,是把声望与尊重授予他们最信任的权威人物。一个人拥有足够权力来颁布法律,意味着他获得了社会授权。没有任何个体能够违背所有人的意愿改变规范,他之所以能够做到,是因为他获得了社会权威,大家在某种基础上接受他的权威。

对话者认为,这一过程也是健康的个体塑造过程的一部分。他认为,这正是人们感兴趣的过程。他想引入的是,系统中确实存在一个关键人物,他必须成为均衡的"避雷针"。

Ngo追问:这样的人如何进入这一位置?这类人物意味着什么?他们不可能随意产生。

对话者认为,这类人确实历史上存在,许多事情正是在他们身上得以确定。他们之所以处于那些位置,是因为在某种意义上获得了民间的合法性,即能够可靠地证明自己有能力做好这件事,并且有良好的意愿去做。

Ngo表示,奥兰治的威廉可能是最典型的历史例子。对话者回应说,这样的例子很多。

Ngo随后问对话者,他正在研究哪些理论,有助于更好地理解这一过程。

对话者提到两项工作。一是高层次理论,另一是更为基础的理论。

第一项是他试图弄清楚,如果经济学不是边际主义的,将会是什么样子。所谓边际主义,是指通过在保持其他人行动不变的情况下,观察我的行动所带来的微小边际变化,来分析问题。而取消边际主义之后,许多概念都将被重新定义。例如,一家公司的股价在边际上由边际买家与卖家决定。由于有股价,人们可以乘以股票数量得到公司的市值。

Ngo认为,如果取消边际主义,人们就不能再谈论公司市值。他认为这是一件好事,因为市值是一个糟糕的概念。人们需要谈论的是其他东西。理想情况下,人们最终应当能够用另一种精确的方式来描述,拥有或控制一家公司有多大价值。

对话者补充说,更好的方式可能是讨论这家公司对整体经济的价值,或者对整体经济拥有这家公司意味着什么。他想象的非边际主义经济学,是这样一种经济学:人们可以拆解各个部分,说明每一部分在做什么、它的投入与产出是什么、它为什么有价值、它的资本存量与负债是什么。这种分析不关注买卖,也不主要关注所有权份额,而关注其背后的实际活动。

对话者认为,最终这一方向看起来更像是在问:法国对欧洲的价值是什么?人们可以用货币衡量其中一部分,但如果没有法国,欧洲会非常不同。法国也许有助于稳定文化,也许帮助保卫大陆,等等。

Ngo询问,这些概念能否获得清晰的界定,或者这本质上是人文学科中的问题,即需要定性推理,而这种推理很难精确界定。

对话者认为,这至少可以像进化生物学那样清晰。在进化生物学中,人们无法测量动物的大多数性状对适应度的具体贡献。相对适应度或一般意义上的适应度概念并不十分明确,甚至比他过去认为的还要不明确。但是,如果人们理解了进化,就理解了生物学的一切,并能够对许多过去无法清晰思考的问题进行合理思考。因此,他认为非边际主义经济学最终会发展为一种关于社会政治的形式理论。它理想上会放弃一些精确性,但会以更正确的概念取而代之。

Ngo询问,这与前面关于人类与AI之间互动、联盟动态的讨论是否相关。这种理论能否帮助人们更好地协调,以抵御滑坡式的军备竞赛,还是只会提供一个清晰的理由,解释为什么我们做不到。

对话者认为,人们之所以沿着滑坡滑下去,是因为他们使用了边际主义推理:即使我往下滑一点,也无关紧要。Ngo表示同意。

他提到,自己最近发布了一篇关于AI对齐领域的回顾,约两万字,分两部分,第二部分刚刚发表几天。该文详细梳理了AGI实验室中那些自称关注安全的人,如何使用边际主义推理:即使我不建造前沿模型,别人也会建造,所以我不如自己拿到安全上的好处。文章指出,在三家AGI公司中,实际上正是那些名义上关注安全的人,在建造前沿模型,并使用这种推理。Ngo认为,这种情况几乎具有喜剧色彩,只是它太过悲惨:每个人都在说,别人反正也会做,所以我最好自己也做。

Ngo将这种状况与博弈论中的囚徒困境相联系:我的对手会背叛,所以我也得背叛;或者至少对方的决定与我无关,所以我应该背叛。

对话者认为,关键在于:如果他们说的是"AI安全社区陷入了与自身之间的囚徒困境",那就会完全不同。实际上,他们所说的是"AI安全社区陷入了与所有AI能力研究者之间的囚徒困境,或者说陷入了公地悲剧"。而这种说法并不真实,甚至接近不成立。

Ngo回应说,并不是所有前沿系统的工作都是由安全人员完成的。他特别提到早期的Claude、ChatGPT,以及DeepMind的Sparrow。但确实有大量工作是由安全人员完成的。

对话者认为,这是一个非常有趣的话题。他观察到,与中国的军备竞赛之说,早在中国在AI领域取得任何实质性成果之前就已存在。与中国的竞赛之"梗",早于中国任何明显试图主导或竞争AI的举动。于是,西方实验室便以"必须打败中国"为理由,在彼此之间进行这种非协调的竞争。

Ngo认为情况更糟。不仅推动AI能力的人把它当作借口,EA(有效利他主义)与AI安全人士也在夸大中国威胁,因为他们认为这是在华盛顿获得重视的途径。与此同时,在对中国的恐慌之中,他们还可以顺势夹带一系列安全建议。

他举例指出,《Situational Awareness》备忘录是这一做法中最严重的例子。丹·亨德里克斯(Dan Hendrycks)的《超级智能战略》备忘录,我认为也在这样做。《AI 2027》与《AI 2040》也在某种程度上做了类似的事情。

Ngo认为,这是一个极具破坏性的过程:人们试图迎合他们认为的政治共识,同时事实上却正在推动他们并不希望出现的那种政治共识。

对话者认为,这种自我毁灭式的反协调现象非常有意思。他进而提出,这可能引出另一个关键分歧:能否形成一种更精确的理论,以避免这一问题?

Ngo认为,知识分子在边际主义错误上远比大多数人严重。这似乎与经济学是占主导地位的范式有关。有一项很有趣的调查,询问各种职业者对博弈论的理解,结果显示经济学家表现最差,因为他们带有某种"背叛"心态。

对话者同意这一判断。他认为,如果至少让人们不那么认真地对待经济学,就能消除推动这种破坏性心态的主要力量之一。他认为,我们的社会,乃至AI领域,已经被某种经济正当化的掠夺所撕裂。经济学职业在很大程度上,成为各种掠夺与背叛的辩护工具。因此他非常重视这一点。

但对话者进一步问:我们能否获得一种真正避免这一失败模式的、精确的理论,或者它的某种类比?经济学本身是否是某种潜在需求的结果?也就是说,在协调的可能性空间中,是否始终存在对这种腐败的需求?腐败是否总是出现,然后为自己发展出意识形态,再借此传播自身?

Ngo认为,人们可以拥有更健康或不那么健康的版本。也许在某些维度上,我们相对于先前的状态或其他可能的社会,正在朝不健康的方向前进。但他非常怀疑,这些问题是否可能被更好的理论永久解决。他认为,最多只能获得暂时的"我们都更清楚地看待事物"的状态,然后又有人想出如何腐蚀它。

对话者表示,这一论点似乎是在反对智识与科学进步。Ngo认为,这与科学理论从来不是最终定论的事实并不矛盾。但对话者坚持,他并不是在反对智识进步,而是在反对协调问题上的最终胜利。他认为,人们同样可以把问题倒过来:难道我们真的要与腐败者的智识作对吗?他们同样在进行大量的进步。

Ngo以概率与计算的发明为例,说明智识进步确实能够显著提升我们的能力。但这与显著改善协调是不同的。即便存在技术手段,使协调变得更好,例如我们可以用新的方式组织事务,减少对某些关系的依赖,转而依赖其他关系,这也不同于更好的理论直接解决协调问题。

对话者认为,协调本身是一种对抗性游戏,即良好均衡与腐败之间的博弈。正因为它是对抗性的,进步在某种意义上是对称的。

Ngo表示,他认为事实并非如此。他的理由是:人们可以描述腐败的过程,也可以描述各种力量的过程。即使完美描述了腐败过程,也未必使腐败变得更容易或更困难。对话者则认为,揭示事物有助于清理它们。如果每个人都理解那些人们在内心甚至心理层面如何被腐化的动力,例如荣格的阴影概念,以及规范通常如何被腐化,那么人们就更能够应对腐败。他甚至认为,滑坡概念本身也是一种有趣的社会技术。

Ngo认为,人们可以关闭某些通道,但这必然会打开其他通道,而人们很难想象这些可能性。在某种程度上,这些事情正在人们的理论能力之外发生。只有在事后,人们才能诊断癌症,只有在看到结果、看清其运作方式之后,才能识别它。但在当时,并不存在能够识别其为癌症的既有机制,因为它占据了系统的盲点。有时甚至无法察觉系统存在盲点。

对话者认为,盲点总是存在的。但盲点可以变小,从而更容易对抗。

Ngo表示,他非常确信这一点。他认为,人们并不是在押注智识进步不存在,而是理解了更多东西,例如概率、计算以及其他已被形式化的概念。它们并不直接帮助协调,但那是因为它们本身不是关于协调的。而一旦人们开始形式化与协调有关的概念,例如什么是规范,人们就开始能够谈论它。

对话者补充说,问题在于,在处理这些问题时,不能假设认知环境是未被腐化的。腐败者会试图干扰你的认知环境,因此你所依赖的知识基础也会受到影响。于是,一旦你说"我有能够解决这些问题的理论",就等同于承认存在另一种可能:这个理论同样可以被反过来使用。如果有人控制了认知过程,或者以某种方式腐化了认知过程,它就不再是可靠的工具。

Ngo认为,这几乎已经在我们的社会中发生了。关于如何防止腐败、实现社会协调的观念,已经存在大量分歧。我们有各种制衡机制,但这些机制在很大程度上现在反而促进了腐败。他举例说,美国公民自由联盟(ACLU)在压制言论自由等问题上的表现就是例子。

对话者认为,癌症与聪明程度之间并非简单的对应关系。他认为,腐败并非因为它"聪明",而是因为它"愚蠢",觉醒主义亦是如此。

Ngo回应说,这种说法并不成立。他认为,腐败可以很愚蠢,同时又很有力量,因为它是由聪明人完成的。对话者表示同意:它是由聪明人推行的。

对话者随后提出,心智病毒确实存在。

Ngo认为,他不认为这是一种心智病毒。问题在于,存在利益不一致的人。某些人发现了一种方式,通过使其他人的处境略微变差,从系统中为自己获取更多好处,于是他们决定这样做。他们也许清楚地看到了这一点,也许没有。但在做出这一决定后,他们获得了更多权力,并因此获得了更多能够塑造此类思维的权力。

于是,一旦出现这种情况,就会形成一种飞轮效应:背叛者获得更多权力,系统便越来越接近背叛的均衡。

对话者认为,这种现象似乎在生命中普遍存在。也许是因为人们还没有发现真正的单一奇点系统。

Ngo认为,人们并没有找到,因为癌性系统会死亡并被替代。另一端也存在不对称:当事物衰败到一定程度时,它就无法再执行其自身的秩序,于是生命能够绕过它,并重新回归。因此,生长与衰败之间存在循环。当生长持续了一段时间,人们会积累大量相互协调的资源。这时,颠覆协调的机会便会突然变大,而这种颠覆可能是自我复利的过程。然而,一旦自我复利的腐败持续了很久,人们就会回到黑暗时代。此时,唯一的出路就是创造美德与生命。

因此,双方之间存在平衡。但从来没有哪一方能够最终取得胜利。人们希望事物良好、协调、诚实,因为这些是协调与诚实的一部分。但这并不意味着,人们会运用智能去解决问题,其他人也会这样做。别人运用智能,可能恰恰是为了获得不同的利益。通过以某种特定方式腐化系统,他们可能获益更多。因此,问题并不像"智识进步"那样简单,因为智识进步确实存在于所讨论的制度之中,并受到腐败者颠覆这些意识形态的方式的影响。

Ngo甚至认为,经济学可能就是这样发生变化的。为什么经济学对协调如此有害?原因在于,人们发现可以为腐败提供一种看似有智识性的辩护。也许在此之前,经济学要健康得多。

对话者同意,关闭经济学这一通道是值得的,但即便成功,这种状态也会是暂时的。

这又回到了单一奇点的问题。Ngo认为,这正是他认为单一奇点行不通的原因。他不认为存在对腐败的最终解决方案,因为总会有更多盲点。由于这是一场对抗性游戏,人们不能假设所有智能都站在自己一边。因此,一旦存在一个庞大而成熟的、一切都已协调的乌托邦社会,就会出现自我复利的腐败效应。此时,对于任何能够从内部攻破它的人来说,都会有巨大的诱惑。

因此,生长与衰败之间存在反馈平衡。这也许应当成为他新协调科学中的一个定理。

Ngo表示,他对"无法锁定良好结果"这一观点持开放态度,并且认为这看起来是对的。对话者则提到,托马斯·库恩在其关于科学革命的原始著作中提出了范式转换的概念,并指出下一个范式未必比上一个更好。这与Ngo所说的很相似。Ngo认为,他并不认为后续范式一定更好,但他相信,它们在犯错时,错误会更小。

对话者同意,就协调范式、意识形态以及协调的社会基础而言,下一个范式通常优于上一个,但它们会随着时间而恶化。这并不意味着绝对的进步在变差,而是说,人们确立一个范式,它在一段时间内有效,然后随着人们找到更多颠覆它的方法而逐渐衰退。

Ngo认为,由此可以回到最初的问题。他对协调人类作为一个整体去对抗高价值技术或潜在政治盟友的想法,持高度怀疑态度。这种协调可能会被打破。因此,他预计人类将进入这样一个世界。他承认,这可能正是对话者所批评的那种边际主义经济学推理,而他也认识到这一批评是有效的。但经过反思,他认为,人们并不能真正占据那种均衡。

因此,他更感兴趣的是探讨:如何从理论上理解那种并非军备竞赛式均衡,而是缺乏全球协调的竞争性均衡。那会是什么样子,又会产生什么样的伦理。

对话者提到,《论摩洛克》(Meditations on Moloch)是一篇非常有影响力的文章。Ngo认为,它大体上是错误的。他认为,国家之间的竞争、宗教之间的竞争,以及几乎所有大规模竞争,都并非摩洛克式的。它们创造了许多好的东西。

但他承认,最接近摩洛克式竞争的地方,是那些认真对待《论摩洛克》的人群,即OpenAI与Anthropic的人员。他表示,Sam(指Sam Altman)曾说,这是他最常想到的一篇博客文章。EA文化也深受《论摩洛克》影响。Ngo说,这属于自我实现的预言。斯科特·亚历山大(Scott Alexander)召唤了摩洛克。

对话者认为,在所有大规模竞争中,最纯粹的竞争可能就是Anthropic与OpenAI之间的竞争。这一竞争的特征可以描述为:为了追求这种竞争效率,不惜牺牲一切。其他竞争往往由民族国家、宗教或经济以外的力量维系,甚至族群也由非经济因素维系。它们并不是以赢得竞争为目的。而这场竞争则是最纯粹的。

对话者补充说,他完全同意这一对摩洛克概念的诊断,但认为,在这一过程中,所描述的并不是摩洛克,而可能是神。他提出,如果对神进行一种兰德式的理解,即神就是某种创造性过程,那么一切就会不同。他认为,好东西是通过竞争过程产生的,而创造性价值正是由竞争与合作共同创造的。

对话者认为,斯科特所做的,是把某种对"竞争可以带来防御性均衡"的欣赏,过度推广为对竞争的普遍否定。他把竞争视为一种背叛,相对于他认为不存在的伊甸式均衡。他认为,斯科特以这种方式反抗了那种创造了全部善的过程。这其中存在深刻的讽刺。他认为,这一世界观确实会唤醒一种"必须为赢而赢"的升级,而这正是斯科特所描述的那种背叛。

这也是他试图攻击这种特定竞争基础的原因之一。他认为,参与其中的人并不是在争夺任何真实的东西。他并不认为任何人能够真正掌握未来的光锥,也不存在所谓掌握未来光锥这一事物。他也认为,不存在关于未来是幸福乌托邦还是恐怖的天文级利害关系。他认为,这些并不是真正可能的选项。如果人们更认真地对待这一判断,就会减少这种纯粹的摩洛克式竞争,转而投入更有价值的竞争,即为自身目的推进建设性项目,即使在这一过程中与他人竞争,但目标不在竞争本身。Ngo认为,AI竞争如果不再只追求赢得竞争,而是追求各自的目标,将对所有参与者更加健康。

对话者表示,这一点绝对正确。他认为,Ngo对斯科特的批评是对的。他提到斯科特的文章《Goddess of Everything Else》,其中把癌症女神描绘为竞争力量,把"其他一切女神"描绘为合作力量。但竞争与合作之间本来就存在协同。一方面是癌症,另一方面是所有的善,这种对立过于简单。

对话者认为,Lance(即尼克·兰德)的世界观则走向了另一个极端。它几乎是在以虚无主义的方式接受一切,认为竞争,尤其是极端竞争,是极具破坏性的。因此,人们需要某种东西来约束它。

Ngo表示,他确实尝试回应兰德的世界观,或兰德式的天真加速主义,尤其是虚无主义的加速主义。他认为,泰亚尔·德·夏尔丹(Teilhard de Chardin)的《人类现象》是一种有效的解毒剂。它与兰德的世界观相似,但戴上了乐观的眼镜。它认为这一切是美丽而善的,并且创造了好东西。人们应当认真对待这种过程,同时也应认识到,爱是宇宙中一切秩序的基础,而爱正是这一过程最终所创造的东西。

对话者同意,这也是真的。他提到,另一种有效的解毒剂,是认识到能动性的重要性。Ngo之前也曾提到,在天真的虚无主义兰德式世界观中,存在一种对能动性的贬低:人们觉得自己无法控制未来,只是在轨道上前行。

Ngo指出,对话者所做的其实也是类似的事情:你说天文级利害不存在,因此不可能产生真正的差异。

对话者表示,他的意思不是说不存在利害,而是说存在利害,我们确实拥有能动性所覆盖的领域,应当在其中行动,并尽可能让这些领域中发生的事情变得更好。他认为,导致糟糕均衡、迫使人们破坏自身能动性领域的一种原因,是认为在能动性领域之外存在某个更大的价值,并试图去攫取它。于是,人们为了某个想象中的乌托邦终点,牺牲了真实的能动性领域。这正是AI实验室竞争中发生的事情:它们认为自己能够控制未来光锥,并拥有天文级利害,因此,对现实能动性领域的任何破坏,都可以在这种效用计算中被合理化。

因此,他认为,人们必须清楚地界定自己真正的能动性领域,并像对待美丽花园那样对待它。人们应当追问:我如何让自己的真实能动性领域变得更好?他认为,这正是他试图为兰德式世界观的问题提供解毒剂的方式。

Ngo认为,聚焦于较小的能动性领域是正确的。他认为,人们可以在不否定更大尺度能动性的前提下做到这一点,但对话者认为,这取决于是否将更大尺度的能动性视为虚假的。有时它确实是虚假的,但这种虚假本身也是一种幻觉。这取决于人的雄心。

Ngo表示,宇宙也许确实可以被争夺,但不是被任何连贯的主体争夺。对话者认为,这就是雄心缺失的问题。Ngo认为,这也是困难所在:区分幻觉与雄心。

对话者认为,从认识论上看,这非常困难。但经过反思,他认为,光锥吞噬一切的奇点观念属于幻觉的一端,而非雄心的一端。它并不是一个真实的东西,相信它会导致极其糟糕的协调结果。

因此,对话者提出一种可能的综合:宇宙确实可以被争夺,但前提是人们能够保持原则性、高度正直与德性,例如不在竞争力量的驱使下盲目冲刺。这意味着,我们现在所做的事情会在整个人类未来中产生涟漪,但只有在我们能够遵循良好合作原则的前提下,才可能实现某些结果。

Ngo表示同意。他认为,生命将继续展开,并吞噬宇宙,事物会随着我们在关键时刻的行为而在边际上发生变化,但这种变化不会以可预测的方式发生。他举例说,QWERTY键盘布局可能会永久保留,Unix也可能永久保留,英语也可能永久保留。但这些东西往往并不重要,它们只是随机的技术细节,而非真正关键的事务。他认为,人们不会看到在遥远未来中出现巨大无界损失,因为在如此长的时间尺度与距离上,维持那种秩序本身就不现实。如果情况确实如此,人们就可以抛弃那些神话。

Ngo认为,就他而言,唯一的问题是:人类能否穿越"大过滤器",还是会因为放慢自己而损失大量潜力,陷入又一个长达千年的黑暗时代。这类结局显然很糟糕,应当避免。他将此概括为一句玩笑:"如果它持续下去,我们就赢了。"他认为,人类能够掌控的最好的遥远未来结果,是我们能否保留任何东西,而不是自我毁灭。

对话者表示同意。他指出,自我毁灭确实是一种可能。人类可能会彻底摧毁地球上的生命,如果我们做了完全错误的事情。

Ngo认为,将协调视为有根本限制的,是一种更现实、因而更健康的看法。协调存在根本限制,因此天文级利害论证行不通。人们应当专注于更直接的能动性领域,并关注这些领域本身的价值,而非其未来影响。他认为,这是唯一真正可以触及的价值领域。如果人们在这一领域中竞争,结果会好得多。

对话者大体赞同Ngo的具体主张,但认为通过"这是唯一的路径"来推导这些主张,将会反过来造成问题。他认为,两人在大方向上是一致的,但其中仍有某些承重的环节。例如,无限利害之所以被消除,是因为有人声称它"不可能"发生,即概率为零。于是,人们可以把注意力转向其他问题。但对话者认为,把无限乘以零是非常教条的做法。他认为,人们可以专注于更直接的领域,同时对更大尺度的问题保持不可知论。

Ngo认为,人们必须把注意力放在更大尺度的问题上,同时保持对其的怀疑态度。他认为,聚焦于无穷大的起点,是因为人们假设协调误差可以降到零。如果协调误差能够降到零,就会得到一个巨大的无穷结果。对话者则认为,结果不需要是无穷大,只需要非常大。Ngo表示,他并不是在用一个足够小的数去乘它,使其降到可控的程度。

Ngo回顾说,他最初是正统的尤德科夫斯基派。他曾写过一篇题为《Capturing Dawn》的博客文章,从某种意义上是对尤德科夫斯基计划的一种兰德式解读。这篇文章直接启发了《论摩洛克》的写作。对话者指出,如果读过《论摩洛克》,就会发现其中引用了这篇文章。

Ngo表示,他持续思考这一问题约十年,相信存在天文级利害,并据此认为必须专注于如何抵达那一目标,以及这种可能性有多坚实。最终,他意识到整个框架在某种意义上是"除以零"的。它并不是对人们所拥有的未来能动性的正确评估。他认为,这一认识要归功于尼克·兰德,他从兰德那里获得了解毒剂,并尝试克服该世界观中的问题。

因此,Ngo从历史上的思想演变角度看,形成这一观点的过程是:认为这一系列可能性不可能成立,然后被迫更新其整个价值宇宙观。

对话者认为,在经历这一切之后,或许能够找到一个更好的框架,而且这一框架可能不需要显式地宣布某些可能性被排除,因此它会作为一项术语自然消失。Ngo也认为,这是他对尤德科夫斯基观点的回应,而他之所以提出这一思路,正是为了回应这一观点。对话者则认为,这是他们讨论的尤德科夫斯基式AI实验室。

Ngo认为,从其现有世界观的角度,他会更直接地为之辩护。他认为,存在一种更健康的方式来做这件事,可能值得以后再讨论。对话者同意。

Ngo认为,还存在一种乐观的、直接陈述的世界观,它说明我们能够获得哪些能动性,为什么这是好的,以及我们能用它做哪些好事。他认为,人们可以完全正面地构建这一框架。这是一个有用的研究方向。它之所以不被他在回应尤德科夫斯基时强调,是因为它与那一语境不那么直接相关,而且也许它也更不完整。

对话者认为,这正是Ngo自己的研究计划:寻找一种更健康的版本,既不排除天文级利害,又不必关上这扇门。对话者表示,他感觉自己与Ngo正在看到某种东西的轮廓。他同时认为,Ngo对异种主义的现有框架,在某种程度上是在权衡另一种东西。但他也认为,这些观点都需要更多工作。

对话者提出,真正重要的核心问题是:积分是否会发散,或者在长尾的未来影响可能性中,积分是否是有限的?他说,他不相信把东西加起来。

Ngo认为,这或许可以表述为积分是有限的,但对话者否认。对话者解释说,问题在于期望效用框架本身:如果存在无限效用,或具有主导性的效用,并且其概率非零,那么它就会使积分发散。Ngo认为,这正是人们需要摆脱的框架。对话者也不喜欢这一框架,认为它之所以常常发散,有些原因是虚假的,也有些可能是真实的,例如如果你这样定义效用函数,它就会发散。

Ngo认为,对话者似乎站在了他的一边:不应假设积分会发散。对话者则更进一步认为,积分根本不存在,这种积分是一个谎言。

Ngo表示,这听起来很有意思,并认为这应当是一次值得展开的讨论。他认为,回应功利主义,并提供一种连贯的替代方案,也是一个值得开展的项目。

最后,双方都认为时间已经不多。对话者表示,这次讨论"漫游了很多地方",但仍有一条连贯的主线。Ngo回应说,感谢并期待下一次讨论。

引言与立场界定

双方讨论恩戈所指的“异种主义”与“后人类”立场,并确认其核心是对当代平等主义道德的批判。

  • 主持人称恩戈曾任职于OpenAI,并长期从事AI对齐研究。
  • 恩戈在一次演讲中提出“异种主义”,并以“人类问题”为题宣布对人类“开战”。
  • 恩戈表示,当代“有毒的激进平等主义”在西方实施了多种禁忌,并可追溯至美国《独立宣言》与基督教。
  • 恩戈认为其讲座中“尼采式的原始观点”在描述世界运作方式上基本正确,但不适合作为社会原则。

尼采式视角与新的合作基础

恩戈主张:当代人类自我认知类似尼采的“最后之人”,AI热潮是人们将被压抑的雄心转移到非人事物上的结果;社会合作需要新的道德基础,即一种新的“奴隶道德”。

  • 恩戈认为人类的自我想象是“渴望安全、缺乏好奇心”的存在,即尼采所说的“最后之人”。
  • 恩戈提出AI热潮的部分原因在于,征服星辰、提升智力等雄心被政治自我认知所阻断,转而投射到非人类的AI上。
  • 恩戈区分两个命题:一是原始尼采式的世界运作观(经验判断),二是需要寻找超越即时效用和权力的合作基础(规范判断)。
  • 恩戈表示社会需要一种新的“社会契约”,并明确提出“我们需要一种新的奴隶道德”以取代当前已破败、过时的版本。

亲缘关系的互惠与未来价值之争

双方讨论“将亲缘关系作为合作基础”的互惠性问题,以及对“未来价值总量”概念的否定。恩戈认为未来的价值不可被任何单一效用函数所掌控,应关注当下的行动能力。

  • 主持人指出,若某方不承认对方为亲属,则不应把对方视为亲属,亲缘关系必须是互惠的。
  • 恩戈表示其观点并非主张“放开AI的缰绳”,而是认为“未来光锥中的价值总量”并不在可争夺的范围之内。
  • 恩戈引用其2023年文章《上帝憎恨单例》(God hates singletons)作为对价值总量概念的批判依据。
  • 恩戈认为“天文学级赌注”(astronomical stakes)论证在AI对齐圈中是错误的,应更关注眼前利益、行动能力与联盟。

人类作为政治实体的可能性

双方讨论人类能否形成集体行动能力,恩戈认为“人类”作为政治实体并不存在,真正的协作形式是群体与联盟,并预测“人类+AI”对“人类+AI”的政治分化可能取代“人类对AI”的分化。

  • 恩戈认为美国等国家有正式的指挥结构,而“人类”没有任何有组织的集体行动能力,“智人属”只是一种生物分类。
  • 恩戈认为,群体在面临对立群体时会更紧密地结合,人类在核战争等议题上的协调仍然是结构性不完美的。
  • 恩戈预测,随着AI的发展,“人类+AI”与“人类+AI”之间的政治对立可能比“人类与AI”的对立更显著。
  • 主持人对此提出质疑:在战争中,最有效的权力会被赋予给最有能力的一方,这种趋势似乎难以避免。

战争、禁忌与AI竞赛

双方讨论战争、军备竞赛与禁忌之间的关系:恩戈认为只有在战争之后、某方取得霸权后,社会才会确立对技术发展的禁忌;他认为中美与AI的竞赛可能导致此类冲突。

  • 恩戈引用冷战与世界大战的历史,指出战争期间社会会把权力交给能力最强的群体与技术系统。
  • 恩戈表示,核能与民族主义都是通过禁忌被限制的例子;他认为AI目前缺乏类似禁忌,且这些禁忌可能只是暂时的。
  • 恩戈提到,AI在乌克兰战场上已被加速应用,中美尚未将其直接纳入作战目标,但这种情形可能出现。
  • 恩戈认为“只有在战争之后,某方取得霸权后,社会才能确立关于技术边界的禁忌”,并认为这种禁忌不太可能在无大型冲突的情况下形成。
  • 恩戈指出,他并不主张“投身递归自我改进的军备竞赛”,但认为需要从哲学上对其后果做好准备。

主人与奴隶道德之外的路径

双方讨论尼采的“主人道德”与“奴隶道德”二分法。恩戈主张超越这一二分法,提出兰德式的卓越追求与“健康的等级关系”两种路径,并以殖民主义为例说明统治并不对统治者有利。

  • 恩戈认为殖民主义对殖民者并不有利,它在长期中给社会带来负债,而非生产性的财富或权力。
  • 恩戈提出的第一条路径是兰德式的卓越追求:不以对低等阶层的对立来定义善,而是纯粹指向“好”。
  • 主持人指出兰德实际上更接近尼采式的造物者崇拜,恩戈对此表示认同但认为兰德并非完全以对立定义自身。
  • 恩戈提出的第二条路径是“健康的等级关系”,其基础是领导者与被领导者之间的忠诚与信任,并以马萨诸塞湾殖民地温斯罗普(Winthrop)的《基督教仁慈之典范》为例。
  • 恩戈认为封建制度因过于接近奴隶制而不可取,但温斯罗普的社会契约体现了一种介于平等与等级之间的审慎平衡。

不平等、退出权与国家的衰败

双方探讨等级制度如何避免固化为种姓制度,以及技术变革对权力分配的影响。恩戈认为,AI与技术可能使新城市或退出权的实现更容易,但国家的衰败也可能使人们更受其压迫。

  • 主持人指出,历史上的等级制度往往固化为种姓制度,尤其当权力集中在极少数人手中时。
  • 恩戈以拿破仑时代的大规模步枪生产为例,说明技术能使普通人成为具有政治力量的军队,从而推动社会平等化。
  • 恩戈认为“退出权”(exit rights)受两个因素限制:协调与资金的可行性,以及镇压;技术可能降低前者,但会增强大型权力机构的镇压能力。
  • 恩戈提到,如果一群人想在非洲建立自己的城市,主要障碍往往来自国际力量的干预,而非资金。
  • 恩戈引用尼采《查拉图斯特拉》中“国家终结之处,即超人之桥开始之处”的观点,表示需要摆脱国家的压制。

博弈论、规范与经济学批判

双方讨论理论工作与协调问题:恩戈提出超越边际主义经济学、以及以博弈论与规范为基础的协调理论,并批评经济学在协调中的作用。

  • 恩戈提出“非边际主义经济学”的研究计划,主张不再依赖市场价格与市值的边际计算。
  • 恩戈认为经济学的主导地位与破坏性协调相关,经济学家在博弈论调查中表现最差,因为他们倾向于“背叛”思维。
  • 恩戈批评博弈论未能解释如何从一个均衡走向另一个均衡,并指出“民间定理”(folk theorems)表明几乎任何均衡都可能存在。
  • 恩戈提出规范通常具有防御性机制,个人难以单独改变规范;部分规范是由具有强大权威的人物在历史上设计并确立的。
  • 恩戈表示,他对“通过理论彻底解决协调问题”持怀疑态度,认为理论可能会被腐败者利用,并引用库恩关于范式转换的观点。

AI竞赛、梅洛伊克与行动领域

双方讨论AI竞赛与“梅洛伊克式”竞争(Moloch)的关系,并批评Scott Alexander对竞争的否定。恩戈认为竞争是创造善的过程,但应避免将竞争视为唯一目标;双方同意应关注有限、可控的行动领域,而非无限的未来价值。

  • 恩戈认为OpenAI与Anthropic之间的竞争最接近“梅洛伊克式”竞争,其中一方为获取竞争效率而牺牲其他价值。
  • 恩戈批评Scott Alexander将竞争视为“背叛”,认为这导致了对竞争本身的过度否定。
  • 恩戈认为,AI安全领域的部分研究者以边际论证为借口参与前沿模型竞赛,这一现象具有讽刺意味。
  • 主持人批评恩戈的观点存在“以零乘无穷”的问题,即以“协调不可能”来消除无限赌注,恩戈对此认为其观点更接近“赌注并非真实”的判断。
  • 双方最终同意:应专注于可控的行动领域,并在此领域内追求卓越与诚信,但对于未来宇宙的价值是否“无限”,双方仍存在分歧。