—老北京马蜂怎么蜇人？ —怎么蜇？ —您猜怎么着？

怎么蜇不重要，但大模型是连接主义的胜利吗？

前几天在看郭朝晖老师的一本书《知行：工业基因的数字化演进》。郭老师是宝钢老专家，书里提到的很多观点感同身受。在“从自动化到智能化”章节中，提到人工智能的三个学派：符号主义（计算机学派）、连接主义（生理学派）和行为主义（控制论学派）。他提到通俗意义上的智能是指在一个巨大的搜索空间内，迅速找到较优解的能力。钢铁企业里有多个工序，在排计划时都期望在不同约束下获得最佳目标，如工时、产品质量、收得率、交货期等，是个非线性的规划问题，经典的计算机学派无法通过符号学在有限时间内快速的推导出答案。

连接主义的算法往往带有某种玄学，“只可意会，不可言传”，就像人类的感觉一样。这种“默会知识”不像显性知识那样精确描述，无法通过代码推导实现。为了让计算机具备感知默会知识的能力，连接主义创造了各种算法，当然也包括大模型。

以上是郭老师的观点，我深以为然。

人工智能（AI）的三大流派通常指的是以下三种主要的研究和开发方向：

1. 符号主义（Symbolism）：
   • 符号主义也被称为逻辑主义或规则主义，它侧重于使用符号来表示知识，并通过规则（如逻辑规则）来处理这些符号。
   • 符号主义的核心是符号推理，它试图模拟人类的思考过程，通过符号操作来解决问题。
   • 符号主义在专家系统、知识表示、逻辑推理等领域有广泛应用。
2. 连接主义（Connectionism）：
   • 连接主义基于人工神经网络，特别是深度学习，它试图通过模拟人脑的神经元网络结构来处理信息。
   • 这种方法强调通过训练数据来自动学习特征和模式，而不是手动设计规则。
   • 连接主义在图像识别、自然语言处理、语音识别等领域取得了显著的成功。
3. 行为主义（Behaviorism）：
   • 行为主义关注于智能体与环境之间的交互，以及如何通过感知和行动来适应环境。
   • 它通常不涉及复杂的内部表示或推理，而是侧重于通过试错和强化学习来优化行为。
   • 行为主义在机器人学、自动驾驶、游戏AI等领域有着重要的应用。

我在工作中会经常遇到使用规则引擎解决决策推导问题。基于我对大模型的理解，它不应该也不会具备符号推理的能力。大模型的推理能力体现在语义理解层面。我一度认为大模型不可能直接解决规则引擎的问题，直到我用工作中遇到的组炉组浇规则试了试。

以下是个简化后的组炉组浇规则的实验，规则中含有中间变量，以及对条件满足度的累加计算。


先后使用了kimi、通义千问、gpt-4o等大模型，准确率基本在98%以上。它们的推理思路非常的一致，即：先制定推理路径，然后逐步推理，直到得到答案。

但是也有问题。当给定的条件稍微有所偏差时，大模型就开始胡诌起来，失去了稳定性。

这跟我预想的不一样，看来连接主义似乎胜利了。

来点高难度的，让大模型试试解微积分。

假设模型需要解决微分方程 $$ \frac{dy}{dx} = 3x^2 $$ 大模型给出了以下的推理过程：

1. 识别微分方程：模型识别这是一个基本的微分方程。
2. 分离变量并积分：

$$ \frac{dy}{dx} = 3x^2 $$

$$ dy = 3x^2 dx $$

$$ \int dy = \int 3x^2 dx $$

3. 计算积分：

$$ y = \int 3x^2 dx = x^3 + C $$

在这个例子中，模型通过应用微积分的基本规则和公式，逐步推导出解决方案，看起来非常聪明。但我尝试给出更复杂的问题时，例如偏微分方程或复杂的定积分问题，模型无能为力。

实际上在计算积分时，大模型（如GPT-4）的过程确实涉及符号推理，但其核心并不是基于传统的符号推理逻辑。具体来说，模型的计算过程主要依赖于以下几个方面：

1. 模式匹配：大模型在训练过程中学习了大量数学表达式及其解答方法。它通过识别输入问题的模式，将其与已学到的解决方案进行匹配，从而提供答案。例如，模型通过学习知道 $$ \int x^n dx = \frac{x^{n+1}}{n+1} + C $$ 可以识别并应用此模式。
2. 知识回忆：模型利用其大规模的训练数据，从中“记住”了各种积分公式和解题方法。虽然这不是基于严格的符号推理逻辑，但它使得模型能够提供看起来像是符号推理的结果。
3. 自然语言理解：模型在处理自然语言问题时，会尝试理解问题的语义，然后使用训练中学到的数学知识来推导答案。这包括识别问题中的关键术语和符号，并应用适当的数学规则。
4. 有限的符号计算能力：虽然大模型不具备像计算机代数系统（如Mathematica或SymPy）那样强大的符号计算能力，但它仍能在一定程度上进行符号操作。对于简单的积分问题，模型可以正确应用基本积分规则来求解。
5. 调用外部工具（如需要）：对于特别复杂的积分问题，模型可能会建议使用或模拟调用外部数学计算工具，以提供更精确的解答。这些工具具有更强大的符号推理和计算能力。例如，模型可以调用外部的计算引擎（如Wolfram Alpha）来执行高精度的数学运算。

大模型似乎学习到了某些套路。就像高中时老师讲到的题型，那些解题思路以某种模式存在脑海中，一旦识别就似曾相识，按照既定的解题步骤和已记住的公式（记忆的，而非推导的）逐步求解，直到得到答案。

大学里有个数学建模竞赛，这个赛事是考察对一个现实问题的抽象和表达能力，如何转为一个数学问题的能力。这是极具创意的思维过程（当然也是有套路的，基本的数学建模也有模式，前提是理解业务本身）。目前我们工作中遇到的绝大部分问题，不是如何解一个数学难题，而是如何把钢厂的各种问题以数学的方式表达出来。这个建模过程我想应该让大模型直接来创建应该会有些困难。如果大模型能做到将现实问题进行建模，那么基本解决了一大半的问题，毕竟现在有丰富的算法来解数学问题。

我们先举一个符号主义的例子。

专家系统是符号主义方法的经典代表。专家系统使用明确的规则和逻辑推理来模拟人类专家在特定领域内的决策过程。以下是专家系统的基本工作原理：

1. 知识库：专家系统包含一个知识库，存储了大量关于特定领域的事实和规则。这些规则通常以“如果…那么…”的形式表示。例如，在医疗诊断系统中，可能有规则如下：
   • 如果病人有发烧、咳嗽和呼吸困难，那么诊断为肺炎。
   • 如果病人有高血糖且经常口渴，那么诊断为糖尿病。
2. 推理引擎：推理引擎使用知识库中的规则进行逻辑推理，以解决问题或做出决策。例如，当病人输入症状时，推理引擎会匹配这些症状与知识库中的规则，得出可能的诊断。
3. 用户界面：用户界面允许用户与专家系统进行交互，输入问题或症状，并接收系统的建议或诊断结果。

假设我们有一个用于医疗诊断的专家系统，以下是它的工作流程：

1. 输入症状：用户输入症状，例如发烧、咳嗽和呼吸困难。
2. 规则匹配：推理引擎检查知识库中的规则，发现符合这些症状的规则是“如果病人有发烧、咳嗽和呼吸困难，那么诊断为肺炎”。
3. 输出诊断：系统根据匹配的规则，输出诊断结果：肺炎。

看起来跟规则引擎如此相似。

符号主义方法依赖于明确的规则和逻辑推理，这些规则通常表达因果关系。例如：

• 规则驱动：符号主义系统通过“如果…那么…”规则来表示因果关系。这些规则通常由专家手动编码，明确指出条件和结果之间的因果关系。
• 演绎推理：符号主义系统可以通过逻辑推理，从已有的知识和规则中推导出新的知识。例如，从已知规则和事实中演绎出新的结论。
• 透明性：由于规则是明确的，符号主义系统的推理过程是透明且可解释的，容易理解其决策过程。

连接主义方法通过大规模神经网络和数据训练来学习模式和关系，这些模式和关系通常基于相关性而非因果性。例如：

• 数据驱动：连接主义模型依赖于大量的训练数据，通过识别数据中的相关性来进行预测和生成。
• 统计相关：模型通过统计方法来学习数据中的相关模式，而不是明确的因果关系。例如，模型可以学会在某些上下文中某些词的共同出现。
• 隐含推理：连接主义系统的推理过程是隐含的，基于神经网络的权重和激活模式，难以解释其具体的推理路径。

1. 知识推导：
   • 符号主义：可以通过逻辑推理和组合已有规则来推导出新的知识。这种推理能力使得符号主义系统能够生成在其知识库中未明确包含的新信息。
   • 连接主义：主要在已有数据的基础上进行模式匹配和预测，其新知识的生成更多是基于已有数据中的隐含模式。虽然深度学习模型可以生成新的内容，但这些内容通常是已有数据中模式的组合，而不是逻辑推导的新知识。
2. 数据依赖：
   • 符号主义：不依赖于大量数据，更多依赖于专家知识和明确的规则。因此，符号主义系统可以在数据有限的情况下，通过规则推理来解决问题。
   • 连接主义：依赖于大规模数据进行训练。模型的表现高度依赖于训练数据的数量和质量，通常需要大量数据来捕捉复杂的模式和关系。

符号主义（专家系统）：

• 规则：如果患者有发烧和咳嗽，那么可能有感冒。
• 推导：从规则库中推导出，如果患者有发烧、咳嗽和肌肉疼痛，那么可能是流感。

连接主义（大语言模型）：

• 相关性：模型通过大量文本数据学习到发烧、咳嗽和流感之间的相关性。
• 生成：当输入描述症状时，模型基于相关性生成可能的疾病名称，但其回答是基于模式匹配，而不是明确的因果推导。

应用的差异：

• 大模型不是明确的因果推导，故不够精确。
• 符号主义是严格的逻辑推导，非常精确。

但大模型似乎识别了规则引擎的语义规则，但我认为它就跟上面解微积分的过程一样，依然是基于模式的，不具备精确推导的能力。事实上，我们的工作中有以下一个规则：

用于精轧换辊开车烫辊，轧制数量冬季(11月1日-3月 31 日)不低于5块，其他月份不低于3块。烫辊节奏以精轧F1 B toB间隔时间 3min 为标准。

这个规则的神奇之处在于有个时间识别的问题，即当前是不是冬季。大模型对于当前时间是多少是无论为力的，这就像人一样也需要借助手表才能获得精确时间。


那么对于这个规则的解读必然需要借助外部工具。而这些工具往往都是通过代码或者数学符号运算等精确推导的。实际上大模型训练时也都加入了特殊任务的指令，特别是如Wolfram Alpha进行精确计算，所以，我认为，

LLMs是连接主义的单方面胜利。