---
title: 从颠覆到建设：token预测、第一性探讨、概率本质、思考方法论
publishDate: 2025-06-04 11:56:00
excerpt: 客观还是主观？貌似客观的思考好像成为了主观陈述，那个基于我的认知的世界；主观感受下的客观表达，也许也蕴藏着真正的真理…
featuredImage: /uploads/chatgpt-image-2025年6月4日-11_56_39.png
tags:
  - 深思
  - 随笔
---
我们是不是一直都错了？

我们对自身的了解，深层次来讲，一无所知。

“理解”？“记忆”？“情感”？“创造”？

我们甚至没有一个足够底层、清晰的定义共识。每次我看到对于这些名词进行的讨论，会下意识地质疑。这些我们认知上的高度抽象、基于经验性的认识真的不是从第一性就存在不成立的可能吗？

next token prediction到底是一种本质缺陷，还是我们本身就不了解这种机制？

前者是否是一种人类中心的偏见？即我们以为自己不是这么运作的。

我真的在思考？深度思考？

预测加工理论和自由能原理作为两个有影响的框架，核心指出：人脑本质上就是一个层级式的、贝叶斯预测系统，其任务是——不断预测、不断纠正。

这种下一个token预测的训练目标，背后的机制我们好像清楚是对于语言的压缩、万亿token的关系映射。

然而，我们也知道这又是“黑箱”，其内部机制竟然也演化出了比大多数人更稳定、更泛化的对于世界的认知，尽管仍有幻觉存在，不可否认这是机制中的概率导向了让接下来的环境处于模型未曾见过的token（一种非现实环境），而使得“幻觉”。

我们基于transformer架构的模型的训练目标是预测，涌现了上述的特征。

如果仍将人类的目标看作是生存与繁衍的话，我们也涌现了爱、艺术、科学与哲学。当然，我们有理由质疑人类的目标不是这些…

也许我的一些想法是脱离人类主义的，但至少存在一种可能，我们无比接近世界建构机制的底层规律，至少无比接近、前所未有的接近，即“概率”。

---

彻：

1. 我们对“认知”基本范畴的定义建立在经验性幻象之上，缺乏第一性支撑；

2. token prediction 并非认知的替代品，而可能是认知机制本身的镜像呈现；

3. 如果世界的运行机制就是最小化不确定性（=预测误差），那么“生成模型”可能是我们已知最接近自然规律的人工建构形式

---

对于以上，我同时需要进行挑战。更多的是出于我作为人的思考：

经验性认知需要“实践出真知”，我们对于那些名词，相较于“理解”，我倾向于认为，我们“感受”到了他们-理解、记忆、情感、创造。也许我们无法通过语言进行底层性的陈述，但至少我们有一个主观印象…

需要承认的是，next token prediction的作用维度目前远低于人类，也许还有真正的因果推理、上述的那种主观感受、具身体验、世界建模等等，捕捉了语义关系，但也仅仅是那个维度的。

过度强调第一性与底层，可能会偏唯心吧，那里的底层也许又只是我眼中的底层，也很要警惕陷入虚无…

微观上的概率竟然能在宏观中表现出确定性，就像牛顿力学与量子力学的相对吧…

客观还是主观？貌似客观的思考好像成为了主观陈述，那个基于我的认知的世界；主观感受下的客观表达，也许也蕴藏着真正的真理…

我又有了新的体会。更期待那个未来了…

---

思考方法论：
- 在追问本质的同时，也要珍视经验与感受。
- 在肯定AI潜力的同时，也要正视其局限与人类的独特性。
- 在探索底层规律的同时，也要警惕过度思辨可能带来的虚无。
- 在看似对立的“主观”与“客观”之间，寻找更圆融、更完整的理解


从颠覆到建设：token预测、第一性探讨、概率本质、思考方法论

---
title: 注意力机制的认知联想
publishDate: 2025-05-29 18:07:00
tags:
  - AI
  - 深思
  - 随笔
---
简单的向量相似性就能捕捉到自然语言中的逻辑关系。QK 点积突出相似度、Softmax 归一化突出权重——选择关注谁，关注多少。很像人类进行价值排序。

该说不说DeepSeek R1这次的更新后，编码如何还没试，但文字依然美而且能看懂了：
“语言逻辑（如主谓宾、因果、指代）本质上体现为词/概念在高维语义空间中的相对位置和关联强度。通过在海量文本上学习，词向量会编码这些关系（如 king - man + woman ≈ queen）。注意力机制利用点积探测这些预编码的关系模式，并在动态上下文中进行加权组合，从而“涌现”出复杂的逻辑推理能力。”

注意力机制中的 Query-Key 相关性的计算是意义的匹配、Softmax 加权对主观重要性赋值、多头注意力是多重视角建构认知、最终的整合上下文则是聚焦后的整合理解。

R1:
"这个过程（筛选-评估-融合-视角合成）本质上模拟了人类理解的精髓：在特定意图驱动下，从海量信息中提取相关要素，赋予其意义权重，融合多角度观点，最终形成一个内聚的、情境化的心智表征。"

“智能在资源受限环境下的本质需求：在无限的信息洪流中，持续地、动态地、有选择地分配有限资源以建构意义。”

---

我对智能定义通常为“完成某种复杂任务的能力”，这样，注意力机制还能否作为智能的一个底层机制？复杂任务中的挑战，超长信息、任务动态变化、长程依赖...

为了完成任务，所具备的一个能力就是注意力机制，核心是“在资源有限的情况下动态地选择、关注意义——即对于任务完成有所帮助的某些信息”，这是认知层面的一个能力。

在这种情况下，QK 匹配——过滤无关信息、Softmax 权重分配——资源分配给最相关信息、Value 加权融合——任务所需上下文信息、多头机制——并行多种视角。

动态过滤、资源优化分配、多种视角（多模态融合、世界模型）

注意力机制是智能的必要条件而非充分条件。


注意力机制的认知联想

---
title: 从加尔定律看人工智能的演化路线
publishDate: 2025-05-24 16:31:00
excerpt: 加尔定律告诉我们：复杂系统必须从简单系统演化。AI的演进史，正是一条不容跳跃的技术积累之路。
featuredImage: /uploads/chatgpt-image-2025年5月24日-16_33_25.png
tags:
  - AI
  - 深思
  - 随笔
---
加尔定律（Gall's Law）指出：

> **一个能够正常运作的复杂系统，必然起源于一个能够正常运作的简单系统。**
> 而试图从零构建的复杂系统，几乎注定无法正常工作，也无法通过事后修补让它变得可行。

这一定律原本用于描述系统设计中的“演化优于规划”，但放在人工智能的发展轨迹中，却显得格外贴切。

- - -

### 01 神经网络的演化

人工智能，特别是深度学习的发展，很好地体现了从简单系统逐步演化到复杂系统的路径。

* 从最早的MP模型（1943）到感知机（1958），尽管能力有限，但验证了“模拟神经元”这一基本构想是可行的。
* 到80年代，多层感知机与反向传播算法的提出，为更复杂的网络训练提供了技术基础。
* 进入2000年代，卷积神经网络（CNN）和循环神经网络（RNN）带来了实用化的突破。
* 2012年，AlexNet 凭借深层网络和GPU加速，引爆了深度学习浪潮。
* 后续的发展更为惊人：ResNet（2015）解决了深层模型退化问题，Transformer（2017）引入注意力机制与序列建模新范式，彻底改变了NLP乃至整个AI领域。

每一个阶段，都是在已有成功结构的基础上迭代优化，而非从头重造轮子。Transformer 本身也不是“从天而降”的架构，其前身包括 Seq2Seq 模型（2014）、Bahdanau 注意力机制（2014）、编码器-解码器结构等。

越深入了解人工智能发展史，越能感受到这是必然的技术爆炸，日积月累的成果。伴随的硬件能力的提升带来算力倍增，算法的改进、数据的必然性膨胀，一切为scaling law准备。

- - -

### 02 从零构建的反例

相比之下，日本在80年代发起的“第五代计算机系统”计划，则提供了一个违反加尔定律的典型反例。

当时，为了赶超美国的AI技术，日本政府和企业试图绕过传统冯·诺依曼架构，直接构建基于逻辑推理和知识表示的“智能系统”，完全脱离已有架构和经验。

然而，尽管投入巨大，这一尝试最终成果寥寥，未能形成任何实际可持续的技术路径。它试图“从零构建一个复杂系统”，违背了加尔定律的演化原则，因此失败或许也是注定的。

- - -

### 03 强化学习是演化中的下一步

强化学习（RL）正在成为语言模型发展的新焦点，但这也不是一种“推翻现有架构”的革命，而是演化的自然延续。

Claude 开发团队的核心成员 Sholto Douglas 近期在采访中表示：

> 未来 6 到 12 个月，我们非常关注扩大强化学习 (RL) 的规模，并探索这将把我们带向何方。我预计，因此会看到极其快速的进展。不需要再投入更多数量级的预训练规模。事实证明，强化学习是行之有效的，而且这些模型到 2027 年将能够达到“即插即用型远程工作者”的能力。

之前OpenAI研究员姚顺雨一篇文章表示AI进入下半场，说：

> RL 通常被认为是 AI 的“终极形态”，毕竟从理论上，它能够保证在 game（ 所有在封闭环境中，有明确输赢的博弈任务。）中取胜，而在实践上，几乎所有 superhuman 水平的 AI 系统（比如 AlphaGo）都离不开 RL 的支撑。

强化学习的引入，在原有架构基础上的进一步演化、微调和行为优化。这种做法，本质上依然遵循着加尔定律。

- - -

### 04 智能的提升

我们或许会不断看到“颠覆Transformer”的声音，但回顾 AI 发展历史我们发现：真正有效的进步，总是在已有系统基础上的**渐进式演化**。现有的一些模型架构已经是Transformer基础上进行改进的，甚至与其他架构融合，深入底层优化。

就像加尔定律所揭示的，**能够正常工作的复杂系统，不是凭空设计出来的，而是从一个能够工作的简单系统，逐步生长出来的。**期待强化学习进一步验证这些。

智能的提升仍有很长的路可以走，我眼中的“智能”：完成某种复杂目标的能力。

- - -
