理解AI“涌现”：从简单规则到复杂能力

“术解”专题——从碎片化阅读中获得人工智能领域的“原来如此”

我们从问题出发，深入浅出地剖析，揭示原理，融入思考

01 前言

最近看了《2001太空漫游》、《银翼杀手》系列，说真的，在现在这个时代节点上，感悟颇深。同一部电影的感悟，可能两年前的心境与现在完全不同。

AI的发展速度，尤其是大型语言模型的横空出世，确实让我们对很多习以为常的概念，比如智能、创造力甚至意识，产生了新的思考和疑问。

本文的灵感就来自于《2001》中对于智能本质的探讨，不过，这只是一个出发点，我们想要探讨的是关于“涌现”（Emergence）。

像DeepSeek、ChatGPT这种比较有代表性的大语言模型已经走入我们日常生活，或是写代码、或总结文章，总会带来许多惊讶。哪怕我了解其原理与局限，但仍然总有“aha moment”。

这些AI展现出的流畅对话能力、逻辑推理能力、甚至一定的创造力，似乎远远超出了我们对传统“程序”的预期。它们好像不是被一行行代码精确规定好该做什么，而是拥有了某种更灵活、更泛化的“理解力”。

这些令人惊叹的能力，尤其是那些在模型规模不够大时完全不存在、只有当参数量和数据量达到惊人水平后才“突然”出现的能力，在AI领域被越来越频繁地冠以一个名字：“涌现”（Emergence）。这个词听起来有点玄妙，好像AI拥有了某种“灵性”。但事实果真如此吗？这些“意外之喜”般的智能表现，究竟从何而来？要理解这一点，我们不妨先将目光从复杂的AI移开，去看一看自然界中一个迷人而经典的例子。

02 蚁群算法

一片草地上，散落着一些食物，远处有一个蚂蚁巢穴。很快，你会发现蚂蚁们不仅找到了食物，还走出了一条连接巢穴和食物源的、几乎是最短的路径。更神奇的是，如果出现障碍物，它们似乎还能很快找到新的最优路径。

这里并没有一个“总指挥官”在规划路线，也没有哪只蚂蚁拥有绘制地图或者计算最短路径的“智能”。那么，这种高效的集体行为是如何产生的呢？答案就在于大量简单个体遵循简单规则进行互动。

蚁群算法（Ant Colony Optimization, ACO）正是模拟了这一过程：

随机探索：开始时，蚂蚁随机地向各个方向移动寻找食物
留下信息素：蚂蚁在走过的路径上会留下一种叫做“信息素”的化学物质。
跟随信息素：蚂蚁倾向于选择信息素浓度更高的路径行走。同时，信息素会随着时间挥发而逐渐减弱。

互动产生奇迹：

最初，路径随机，信息素分布也比较均匀。
一旦有蚂蚁找到了食物并返回巢穴，它走过的路径上就留下了信息素。
关键来了：走较短路径的蚂蚁，往返一次用时更短。在相同时间内，它们在短路径上留下的信息素往返次数更多，导致短路径上的信息素浓度累积得更快、更高。
后续出发的蚂蚁，根据“跟随信息素”的规则，就更有可能选择这条较短的路径。
这种正反馈效应不断加强（短路径吸引更多蚂蚁 -> 留下更多信息素 -> 吸引力更强），最终使得绝大多数蚂蚁都汇聚到那条最短（或接近最短）的路径上。而那些较长、较少蚂蚁走的路径，由于信息素挥发，浓度会逐渐降低，最终被“遗弃”。

看，没有任何一只蚂蚁需要“理解”全局最优解，但整个蚁群作为一个整体，通过简单的局部规则和互动，涌现出了高效寻路这种复杂的、智能的宏观行为。这就是一个典型的“涌现”现象——整体的能力远大于部分能力之和，且这种能力并非来自个体，而是源于系统层面的互动。

03 智能涌现

现在，让我们带着从蚂蚁那里得到的启发，回到AI的世界，特别是大型语言模型（LLMs）。LLMs的内部结构远比蚁群复杂，但它们展现出的能力“涌现”，是否也遵循着某种相似的逻辑——即简单底层规则在巨大规模的复杂互动下，催生出意想不到的宏观能力？

我们观察到的现象是：

当LLM的规模（参数量、数据量）较小时，它们可能只能完成一些基本的语言任务，比如简单的词语接龙或模式模仿。
但是，当规模跨越某个巨大的阈值（例如，从几十亿参数增加到数千亿甚至万亿参数）后，模型似乎突然“解锁”了许多高级能力，比如： - 少样本学习（Few-shot Learning）： 只给几个例子，就能学会执行新类型的任务。 - 思维链推理（Chain-of-Thought Reasoning）： 能像人一样，把复杂问题分解成一步步的推理链来解决。（尤其是现在的推理模型） - 还有写代码、进行数学推导、创作故事等等。

这些能力在小模型上几乎看不到，在大模型上却表现得相当出色。这强烈的非线性增长，正是AI“涌现”的核心特征。那么，这背后的机制可能是什么？

核心解释：规模如何“逼出”复杂能力

那么，这背后的机制可能是什么？让我们尝试理解这个过程。很多大型语言模型的基础训练目标，其实非常简单，你可能知道——就是预测文本序列中的下一个词。给定一段文字，模型的核心任务是猜出最可能紧随其后的那个词。

这听起来似乎不难，但关键在于，模型需要在极其庞大且多样化的数据集（例如，涵盖了互联网上各种类型的海量文本）上，持续地、高精度地完成这个任务。要做到这一点，仅仅记住词语的表面搭配是远远不够的。为了在各种情境下都能做出准确预测，模型在训练中实际上**被“驱动”**着去学习和掌握语言和世界运行的深层规律。（这种规律有一部分在于流形假说：AI看懂世界，数据之美，即数据是有规律的）。

这意味着，模型必须去理解语法结构，掌握词语的含义和它们之间的关系（语义），吸收海量的常识和事实知识，能够联系上下文，甚至要能识别和运用一定的逻辑与推理模式。这些复杂的“能力”或“知识”，并非我们直接设定给模型的学习目标。它们更像是模型为了优化那个简单的“预测下一个词”的目标时，所发现和建立起来的、最高效的内部表征和处理方式。

模型的巨大规模——即海量的参数和深层的网络结构——提供了学习、存储和运用这些复杂模式所必需的巨大容量和处理复杂度。因此，那些看起来高级的能力，如初步的推理或对上下文的深刻理解，并不是被直接编程进去的，而是作为优化基础预测任务的必要手段或副产品，在足够大的模型中“涌现”了出来。

这就像是为了造出一把能完美撬开所有锁的万能钥匙（准确预测下一个词），你最终不得不掌握所有锁的内部构造和原理（语言和世界知识）。规模提供了足够的材料和复杂度，让这把“万能钥匙”的锻造成为可能。

这也是为什么模型学会了**“欺骗”与“撒谎”**，因为这是目标在驱动他们这样做的成功效率更高。

04 审视看待

理解了“规模驱动简单规则涌现复杂能力”这个基本逻辑后，我们还需要对其进行审视，明确一些边界：

AI并非生物：蚂蚁的例子有助于理解基本概念，但AI系统与生物系统有本质区别。AI基于计算和数据学习，其内部机制、学习方式和目标驱动性都与生物演化不同。需要避免不恰当的过度类比。
更像是“弱涌现”：当前AI展现的能力，虽然令人印象深刻，但更符合“弱涌现”的特征。这意味着，这些能力原则上是模型参数、训练数据和算法运算的结果，是可以通过分析（尽管极其困难）来理解的。没有证据表明AI产生了独立的意识或意图，即所谓的“强涌现”。（虽然我更期待后者，但现在看来，前者的可能性更大）
理解机制至关重要：对AI涌现现象的解释仍在进行中，存在不同观点（例如，关于评估指标是否会影响我们对“涌现”的判断）。
前沿的观察：我观察与感受到，那些直接从事AI研发的人员，往往对AI的未来表现出更强烈的感受（无论是希望还是担忧）。这或许是因为他们更直接地观察到，随着规模的提升，系统能力有时会发生难以预测的跳跃。这种不可预测性本身，就足以令人兴奋。

05 原来如此

现在，让我们回到最初的问题：AI模型那些惊艳的、仿佛“智能”的能力从何而来？

这些能力，很大程度上可以理解为是极致的规模（巨大的参数量和数据量）与相对简单的学习规则（如预测下一个词）在一个极其复杂的计算系统（深度神经网络）中相互作用的必然结果或副产品。

不过，这只是一种认知，深层机制对于人类目前而言仍然未知。

核心在于：巨大的规模提供了必要的“容量”和“复杂度”。这使得模型在优化其基础目标（如预测准确性）的过程中，有空间去学习和发展出那些对于完成该目标极其有效的、但更为复杂的内部策略和知识表征（如掌握语法、运用常识、进行逻辑关联）。这些高级能力并非被直接设计，而是当系统复杂度达到某个临界点后，作为整体运行效率最优化的结果而自发形成并显现出来。

所以，当你看到AI的“神奇”表现时，可以认识到：这背后反映的是计算规模和系统复杂性本身所具有的强大力量。我们并非直接创造了“智能”，而是创造了一个足够庞大和复杂的“系统”，使得那些我们称之为“类智能”的行为得以在这个系统中生成和表现。

但是这也足够让我们惊叹，同时带来巨大的生产力提高。

来自AI总结：

本文探讨了大型AI模型（如ChatGPT）展现惊人能力的“涌现”（Emergence）现象。

文章首先以蚂蚁通过简单规则和信息素互动找到最优路径为例，解释了“涌现”的核心概念：即简单个体互动产生复杂的整体行为。

随后，文章将此逻辑类比到AI：其基础目标（如预测下一个词）看似简单，但在巨大规模（海量参数、数据、深度网络）下，模型为优化此目标会“被迫”学习语法、语义、逻辑等复杂内部策略。

这些高级能力作为优化基础目标的“副产品”而涌现。文章强调这更像“弱涌现”（非意识），并指出理解其深层机制的重要性，最终认为AI的惊艳表现是极致规模与复杂性相互作用的必然结果。