How do our minds get so much from
so little?
丰富的因果推理、强大的泛化能力、高度抽象的认知输出与稀疏、噪声、模糊的信息输入不匹配2岁孩子可以通过看几个例子学习如何使用一个新词——如...
How do our minds get so much from
so little?
- 丰富的因果推理、强大的泛化能力、高度抽象的认知输出与稀疏、噪声、模糊的信息输入不匹配
- 2岁孩子可以通过看几个例子学习如何使用一个新词——如何从只看到每个子集的一个或几个例子中掌握这些子集的边界的？
- 认知发展最深刻的成就是构建更大规模的知识系统（物理学、心理学、生物学的直觉理论、社会结构或道德判断的规则系统）——构建这些系统需要数年的时间，比学习一个新单词或概念要长得多，但在这个规模上，学习的最终产物也远远超过了观察到的数据
- 自柏拉图以来，哲学家们对这一谜题已经研究了两千多年。现代，归纳学习（inductive
learning）被视为一种计算问题，而人类思维被视为解决这些问题的自然计算机
三个核心问题：
1)抽象知识如何指导从稀疏数据中进行学习和推理？
2)抽象知识在不同的领域和任务中采取什么形式？
3)抽象知识本身是如何获得的？
The Role of Abstract Knowledge
- 贝叶斯规则将抽象知识编码进概率生成模型，通过观察和潜在变量，支持有效的预测和行动
- 生成模型是随机的，以应对不确定性
- 生成模型是抽象的：
1不仅描述了手头的具体情况，还描述了学习应该概括的更广泛的情况。并以简洁的形式捕捉了塑造学习者观察的基本世界结构，并使泛化成为可能
The Form of Abstract Knowledge
- 对于复杂的认知任务，如概念学习或因果推理，不可能简单地列出每一个逻辑上可能的假设及其先验和可能性
- 一些更复杂的知识表示形式必须是贝叶斯认知所需的概率生成模型的基础：图形、语法、谓词逻辑、关系图式和功能程序
- 不同的知识表示形式被用来建模人们在不同领域和任务以及不同抽象层次上的知识：城市地理属性推理——二维空间或网格，物种因果传播属性（如疾病）——定向网络
The Origins of Abstract Knowledge
•学习者如何学习他们需要知道的东西来使学习成为可能？
•抽象知识的获得或新的归纳约束是认知发展的重要问题
•长期以来，结构上的insight的机制比计算本身更神奇
•统计和机器学习中无监督结构发现的传统算法——层次聚类、主成分分析、多维尺度、团检测，都假设单一固定的结构形式
•与人类儿童或科学家不同，这些方法不能学习多种形式的结构，也不能在新的数据中发现新形式
•层次贝叶斯模型（HBMs）通过层次化处理数据，处理假设空间的和先验的起源：构建假设空间的假设空间和先验的先验。
•HBM的每一层都在下层上生成变量的概率分布。跨所有层次的贝叶斯推理允许在更长的时间尺度上学习特定学习任务所需的假设和先验，同时限制较低层次的学习
•抽象的祝福：似乎只有HBMs适合解释人类抽象知识的两个最显著的特征：1.它可以从经验中学习，2.它可以在生命早期显著参与，有助于限制更具体的学习任务。
