前言

主动推理的核心是一个生成模型，即一个概率表示，说明世界上不可观察的原因如何产生可观察的结果——我们的感觉

1. 概述

生物体只能通过对动作-感知回路施加适应性控制来维持身体的完整性。

一种观点认为，不同的生物适应、神经过程（例如，突触交换和大脑网络）和认知机制（例如，感知、注意力、社会互动）是高度特殊的，需要专门的解释。另一种观点是，尽管表现形式多种多样，但生物体行为、认知和适应的核心方面可以从第一原理得到连贯的解释。

Neats 总是在大脑和心智现象的（明显的）异质性之外寻求统一。这通常对应于设计自上而下的规范 模型，这些模型从第一原则开始，并尝试尽可能多地推导出关于大脑和思想的信息。相反，邋遢者通过关注需要专门解释的细节来拥抱异质性。这通常对应于设计自下而上的模型，这些模型从数据开始，并使用任何有效的方法来解释复杂的现象，包括对不同现象的不同解释。

主动推理是表征贝叶斯最优行为和生物体认知的规范框架。其规范特征体现在这样一种观点，即生物体中行为和认知的所有方面都遵循一个独特的命令：将他们的感官观察的惊喜降到最低。必须从技术意义上解释惊奇：它衡量代理人当前的感官观察与其首选感官观察的差异程度——即那些保持其完整性的感官观察（例如，对于鱼来说，在水中）。智能体必须自适应地控制他们的动作-感知循环以征求所需的感官观察。这是主动推理的主动位。

它假设即使生物体不能直接将它们的惊奇最小化，它们也可以最小化一个代理——称为（变分）自由能。

这种高瞻远瞩的观点有助于理解主动推理的规范性质：生物体必须做什么才能面对其基本的生存挑战（最小化它们的自由能）以及为什么（间接地最小化它们的感官观察的惊喜）。

这种低角度的观点有助于说明主动推理智能体如何最大限度地减少其自由能——因此说明主动推理不仅是一个原则，而且是对认知功能及其神经元基础的机械解释（又名过程理论）。

• 感知和学习的主动特征与大多数当前将它们视为主要被动过程的理论形成对比
• 计划通过推断满足该预测的动作序列来进行（或者等效地，减少先前预测和当前状态之间的任何预测误差)

1. The Low Road to Active Inference

它解释了主动推理如何通过不仅将感知而且将行动、计划和学习视为（贝叶斯）推理的问题并通过推导出对这些其他棘手问题的原则（变分）近似来包含和扩展这些想法。

• 感知是无意识的推理
  • 感知不是由外到内，这是一个建设性的由内而外的过程——在这个过程中，感觉被用来证实或否定关于它们是如何产生的假设
  • 执行贝叶斯推理需要一个生成模型，有时称为前向模型。
  • 第一个，我们简称为意外，是负对数证据，其中证据是观察的边际概率。在我们的示例中，这是在生成模型下观察到任何跳跃的负对数概率
  • 惊喜是一个可以针对任何给定的概率分布族进行评估的概念。
  • 贝叶斯惊喜量化了先验概率和后验概率之间的差异。这对信念更新的数量进行评分，而不是简单地观察观察的可能性。
  • KL散度这被定义为两个对数概率之间的平均差：
• Biological Inference and Optimality
  • 贝叶斯推理是最优的。通过明确考虑隐藏状态的完整分布，它自然地处理了不确定性，从而避免了仅考虑隐藏状态点估计（例如，x 的平均值）的替代方法的局限性。
  • 首先，生物在有限的计算资源和能量资源的基础上运作，这使得精确贝叶斯推理难以处理。这需要排除精确贝叶斯最优性保证的近似值。
  • 最优性可能被认为是主观的第二个原因是，生物体在主体关于如何生成其观察结果的生成模型的基础上运行，这可能与产生其观察结果的真实生成过程相对应，也可能不对应。
• 最小化模型和世界之间的差异
• 最小化变分自由能
  • 当我们没有信息时，我们应该不确定（采用高熵信念）
  • 第二行强调将自由能最小化解释为寻找感官数据的最佳解释，这必须是能够准确解释数据的最简单（最复杂）的解释

• 预期自由能将主动推理扩展为包括一种典型的前瞻性认知形式：计划。计划一系列动作
• 了解策略如何影响状态转换让我们可以计算在该策略下一系列观察的可能性。主动推理将这个规划问题分解为两个连续的操作。首先是计算每个策略的分数。第二个是形成要追求的后验信念。在主动推理下，策略的优度由相关的负预期自由能评分——就像模型拟合的优度由该模型的负自由能评分一样。
• 政策的预期自由能 (G) 不同于变分自由能 (F)，因为计算前者需要考虑未来的、政策相关的观察结果。
• 每个策略的预期自由能的最终度量必须整合该策略的所有未来时间步长。
• 与较低的预期自由能相关的策略被分配较高的概率，并成为有机体期望追求的策略。
• 在大多数不确定的情况下，人们必须首先采取认知行动来解决不确定性，然后才能自信地选择实用行动。
• 风险是预期的复杂性，而歧义是预期的不准确性。风险是经济学中的一个常见概念，对应于政策与其后果之间可以存在一对多映射的事实，类似地，歧义对应于由于状态和结果之间的模糊映射而导致的预期不准确。
• 变分自由能是主动推理的核心。它衡量内部生成模型和（当前和过去）观察之间的契合度。通过最小化变分自由能，生物可以最大化它们的模型证据。这确保生成模型成为环境的良好模型，并且环境符合模型。
• 预期的自由能源是为规​​划的替代政策评分的一种方式。这基本上是前瞻性的——它考虑了可能的未来观察和反事实——可能的未来观察以人们可以追求的政策为条件。预期自由能衡量行动政策相对于首选（未来）状态和观察的合理性。通过根据负预期自由能对策略进行评分，参与主动推理的生物有效地相信他们会追求该数量最低的行动方案。用心理学术语来说，这意味着生物对政策的信念直接对应于它通过行动实现的意图。
• 从概念的角度来看，我们可以将变分自由能和预期自由能的最小化与两个推理循环联系起来，一个嵌套在另一个循环中。变分自由能最小化是主动推理的关键（外部）循环，足以优化对政策的感知和信念。还可以为主动推理代理赋予其行为后果的生成模型，该模型需要评估预期的自由能（内部循环）。这种规划未来的能力通过为政策提供概率值来支持预期的行动选择形式
• 生物体的状态与先验状态（编码首选状态）的差异越大，它就越令人惊讶，因此主动推理相当于这样一种想法，即生物体（或其大脑）必须主动将其惊喜降到最低以保持活力。在某些条件下，意外最小化可以解释为减少模型与世界之间的差异。更一般地说，主动推理中实际最小化的量是变分自由能。变分自由能是惊喜的（上限）近似值，可以使用化学或神经元信息传递和生物体生成模型可用的信息有效地最小化。
• 重要的是，感知和行动都以互补的方式最小化变分自由能：通过改进他们的（后验信念）估计和通过执行有选择地对预期进行采样的行动。此外，主动推理还通过遵循与最小歧义和风险相关的策略来最小化预期的自由能。然后，预期自由能将主动推理扩展到前瞻性和反事实推理形式。这就完成了我们通往主动推理的低级道路的旅程。在第 3 章中，我们将从上层，在第一性原理和自组织的基础上得出相同的结论。