2024年6月14日上午，中国科学技术大学机器人实验室主任、广东省科学院人工智能首席科学家、中国人工智能学会人工智能伦理与治理工委会主任陈小平教授在beat365体育官方网站会议室为我院师生带来了一场题为“大模型基础研究：形式化方法的颠覆与重建”的精彩讲座。讲座由我院周北海教授主持。

讲座伊始，陈小平教授介绍了本次讲座的背景和内容，指出尽管大模型由于其实例化、亚概念、弱共识性的特征颠覆了传统的形式化方法，但是，相比于传统形式化方法适用于物质科学，大模型则代表了智能科学新的演化方向，不仅给整个AI领域和社会方方面面带来历史性巨变，同时也带来了形式化方法根本变革的历史性机遇。在此基础上，陈小平教授提出了类L_c系统，并指出尽管类L_c系统是智能科学领域重建形式化方法的初步尝试，但在刻画大模型底层原理(关联度预测)、解释大语言模型的深度测试中发现的大量奇异现象上展现了独特的优势和潜力。

在讲座中，陈小平教授具体讲述了大型语言模型的工程学基础——关联度预测；提出了关联度预测的形式化：L_c系统；并介绍了其构成和基本性质，以及如何利用L_c系统科学解释大模型的奇异性，并讨论了许多未来方向与核心课题。

首先，陈小平教授指出关联度预测是整个大模型技术体系的基础，在很大程度上决定了大模型的行为和性能。因为占大模型整个训练计算时间99%的基础模型预训练，其目标就是基于预训练从人类规模语料(如互联网2/3文本)统计出语元之间的关联度，预测一个语境(一串语元)之后出现的下一个语元（简称关联度预测）。其中，在大模型技术中，语元（token）指的是字、词和标点符号，或者由字词和标点符号组成的字符串，关联度是指语元之间的统计关联的强度(用0和1之间的一个数值表示)。并且，陈小平教授进一步通过只有2个不同句子的语料，来说明关联度预测。

接下来，针对深度测试中所揭示的大模型的奇异表现（好得令人意外又莫名其妙，或者差得令人意外又莫名其妙），陈小平教授通过分析具体例子，表明可利用类L_c预言、解释大部分奇异表现，并得到实验的支持。以“计数”测试为例，在“命题变元p前有27个否定词”的语境下，问大模型“p前有几个否定词”，大模型回答“28个”。通过对“计数”测试的观察，可知大模型不会计数，也不会逻辑否定。由于计数是数学的基础功能之一，否定是逻辑的基础功能之一，因此，进一步可知大模型缺乏逻辑和数学的基础能力。针对“计数”测试中的奇异现象，陈小平教授将其解释为：类L_c的性质(2)基于语境扩展的传递性和性质(3)等量代换不适用性决定了关联度预测不具备抽象能力。

最后，陈小平教授通过分别对比大模型推衍与经典逻辑推理、类L_c与经典逻辑之间存在的显著异同，表明大模型推衍与类L_c并不遵守逻辑公理或数学公理。同时，由于人工智能的很多重要应用需要逻辑和抽象能力，这就为形式化方法的重建提供了新机遇，指明了未来的研究方向。例如，与“以类L_c为亚概念化和概念化的统一架构，支持关联度预测/志象思维和逻辑推理/抽象思维的兼容与融合，从而增强大模型的逻辑”相关的未来课题有：(1)亚概念化系统提供了一种新型知识生产方式，或只是重述已知知识的一种新方式；(2)亚概念化语义学（类L_c目前缺乏完整的语义学）；(3)亚概念化体系的演化动力学(从亚概念产生概念、从统计关联产生逻辑关系)。此外还有诸如类L_c推衍与逻辑推理的重合范围的理论刻画、类L_c推衍与概率推断的重合范围的理论刻画、类L_c的扩展/加强版能否表达具备可靠性的逻辑推理等相关研究课题。

在答疑环节，针对大模型是否是一种预测系统、“推衍”的定义是什么、大语言模型是否有语义、使用谓词逻辑来与类L_c进行对比是否有助于理解大模型的语义等问题，陈小平教授进行了逐一回答，表明从深层次看，大模型没有语义、是亚概念的，因而并不完全是预测的；可以用形式语言明确地定义“推衍”；用谓词逻辑来对比肯定会更清楚，但也会更复杂。同时，围绕公理(2)前件不成立时的n+1元关联度比较的合理性依据、类L_c推衍对语元次序不敏感、亚概念等方面，陈小平教授与在场听众进行了深入的互动交流。整场讲座持续一个半小时，反响热烈。陈小平教授的见解独到，对推动相关领域的学术研究和实践应用具有重要的启发意义。

随着陈小平教授“大模型基础研究：形式化方法的颠覆与重建”讲座的圆满结束，与会听众对大模型及其对逻辑学和人工智能领域的影响有了更深刻的理解和把握，受益匪浅！

beat365体育官方网站 李伟供稿