第三部分主要讲了两件事儿:智能计算和计算智能。这一部分我们主要讲智能计算。
数据智能
提高计算的普适性是智能计算的关键。现实世界中的问题,如模拟、图等,需要各种计算。智能计算的另一个关键问题是如何提高计算的智能化水平。从经验上讲,我们都需要向自然界的智能生物学习,计算也不例外,例如三种经典的智能方法:人工神经网络、模糊系统和进化计算。智能计算理论包括但不限于上述计算类型,以实现高水平的普适化和智能化。
模拟计算
所模拟的计算模型可以具有广泛的复杂性,其中计算尺和列线图是最简单的类型。相比之下,舰炮控制计算和大规模数模混合计算更为复杂。过程控制和保护继电器系统使用模拟计算来控制和保护。根据计算方法和应用领域的不同,模拟计算的类型也不同。与普通的数字计算相比,模拟计算既有优点,也有缺点。它实现了计算和分析的实时操作,可以同时操作多个值。它具有简单的硬件设计,无需传感器将输入/输出转换为数字电子形式,带宽消耗少。然而,模拟计算的可移植性较差。模拟计算机只能解决预设类型的问题。由于计算受到环境因素的影响,获得精确解通常具有挑战性。
图计算
在数学上,图论是研究图的,图是用于建模对象之间成对关系的数学结构。图是数学理论的基础,如代数、几何、群论和拓扑学。图处理以图作为数据模型来表达和解决问题,能够完整地刻画事物之间的关系。图计算体系结构在数学及其相关领域如动态系统、复杂性计算等方面也表现出了良好的应用价值。
近年来,图处理已经成为大规模图数据领域的研究热点,其目标是实现大规模图数据的存储、管理和高效计算。传统的图处理是基于图论的。它基于图结构的基本性质研究各种问题,包括搜索、挖掘、统计、分析、转换等问题。这些问题通常以节点或边的查询、遍历、排序和集合操作为基本操作,计算目标结果的精确解或最优近似解。随着图数据规模的不断增大,将图处理与大数据相关技术相结合,如分布式计算、并行计算、流式计算、增量计算等,成为当前的主流研究方向。
一些以节点为中心的、基于批处理消息的并行图处理引擎已经被设计出来专门处理并行图处理任务,如Pregel、Giraph[、Graphx、GraphScope和DepGraph。除了数据量的扩展,一些研究对图数据模型进行了扩展。引入属性、标签、概率、层次结构和其他特征,以解决更复杂的应用需求和建模挑战。随着数据库技术的发展,图数据库以其应用场景全面、模型表达灵活等特点强势兴起。他们已经成为新兴的NoSQL数据家族的四个核心成员之一。图模型的扩展体现在图数据的存储和管理等任务上。另一方面,模型的内涵扩展为各种图处理的算法演化带来算法复杂度的增加。同时,使计算问题的结果更适合在自然场景中应用。
近年来,随着深度学习技术的发展,图数据被用作神经网络模型的输入,各种类型的图神经网络模型和计算方法被推导出来。图神经网络,如图卷积网络、循环神经网络、图注意力网络、图残差网络等,都是从深度学习技术框架演化而来的。它们从结构化数据移植到半结构化数据,保留了模型的结构和功能特征。同时针对图数据结构改进了核心数学模型,在分类、预测、异常检测等问题上取得了良好的计算效果。
人工神经网络
自20世纪80年代以来,人们开始利用工程技术模拟人脑神经系统的结构和功能来构建人工神经网络。人工神经网络是通过多个非线性处理器来模拟大脑神经元之间的连接。它以计算节点之间的输入和输出来模拟突触之间的信号传递行为。
心理学的W.S.麦卡洛克和数理逻辑的W.S.皮茨于1943年开发了神经网络和数学模型,即MP模型。他们建议使用MP模型作为神经元的严格数学描述和网络结构的基础。
人工神经网络的研究是建立在单个神经元可以执行逻辑运算的发现之上的。
BP算法是由Rumelhart, Hinton和Williams在1986年创建的。损失的后向传播和信号的前向传播构成了BP算法。由于多层前馈网络通常采用反向传播算法进行训练,因此多层前馈网络通常被称为BP网络。
经过几十年的发展,已经提出了近40种人工神经网络模型,包括反向传播网络、感知机、自组织映射、Hopfield网络、Boltz-mann机等。近年来,许多经典模型如cnn、rnn、lstms等被广泛应用于图像、语音、文本、图等领域的各种分类和预测任务中。人工神经网络模型的训练很大程度上依赖于数据量。
随着数据量的爆炸式增长和模型复杂度的不断加深,一些人开始将模型的训练和应用分离,基于大型离线数据集预训练模型并保存,然后使用迁移学习技术将其应用于问题以快速解决问题。由谷歌AI研究所提出的BERT和由openai开发的GPT-3是两个最著名的预训练模型。他们在自然语言处理方面取得了很大的成功。人工神经网络是深度学习(DL)系统的关键组成部分,包括深度强化学习(DRL)系统。DRL系统使用多层神经网络来解决马尔可夫决策问题(MDPs)。单智能体和多智能体深度强化学习模型正越来越多地用于智能地解决各种计算问题(如决策/控制和预测问题),否则在实时环境下是不可实现的。
模糊逻辑
Lotfi Zadeh在1965年首次提出了模糊逻辑的概念。模糊系统是一种基于“真度”的模糊逻辑的计算技术,而不是现代计算机所基于的典型的“真或假”(1或0)布尔逻辑。0和1的绝对值不能为自然语言提供一个很好的类比,也不能充分描述生命或宇宙中的大多数其他活动。模糊逻辑可以被认为是思维真正运作的方式,二进制或布尔逻辑是一个子集。“系统”一词是指一组相互依赖、相互作用、结构清晰的部件。系统可以从外部环境中识别为一个复杂的整体。输入和输出是系统与其周围环境相互作用的通道。
模糊系统是用模糊方法建立的一种信息处理体系结构,而传统的集合论和二进制逻辑要么不实用,要么很难应用。其主要特征是将符号信息表示为模糊条件(if-then)规则。模糊器、模糊推理机、知识库和去模糊器这4个功能模块构成了模糊系统的常规结构。模糊系统可以同时以确定数据和语言值作为输入。如果您正在处理明确的数据,则应该专注于模糊化阶段而不是推理阶段,此时相应的模糊集被分配给非模糊输入。使用适当的近似推理方法将输入值转换为输出变量的语言值。采用模糊条件规则来反映专家的知识。当模糊系统需要数值输出信息时,利用去模糊化方法将适当的数据集匹配到生成的模糊集。当缺乏全面的数学描述或使用精确(非模糊)模型非常昂贵或困难时,模糊系统具有实际应用。模糊系统是处理不完整数据的一个很好的工具,例如,用于信号和图像处理、系统识别、决策支持和控制过程。
进化计算
进化计算是一种独特的计算类型,它从自然进化过程中获得线索。一些计算机科学家从自然进化中寻找灵感并不令人意外,因为组成我们星球的众多生物都是专门设计来在它们的生态位中茁壮长大的,这表明了自然界的进化力量。进化计算的一个关键点是将这种强大的自然发展与一种称为试错(也称为生成-测试)的特定解决问题的方法进行比较。潜在解决方案的价值,或者它们如何有效地解决问题,会影响它们被保留并作为开发其他潜在解决方案的构建模块的可能性。之后,遗传学和进化理论的相关部分的描述被提供。在20世纪40年代,远在计算机发明之前,就已经有使用达尔-温氏原理自动解决问题的想法。
1948年,图灵提出了“遗传或进化搜索”一词,到1962年,Bremermann进行了“进化和重组优化”的计算机测试。整个60年代,出现了三种不同的核心理念的实现。Holland将他的方法命名为遗传算法,而Fogel、Owens和Walsh在美国提出了进化规划。Rechenberg和Schwefel德国同时创建了用于优化的进化策略。这些领域独立发展了大约15年。自20世纪90年代初以来,它们一直被认为是不同的技术方言,后来被称为进化计算。在20世纪90年代早期,第四个流派,即。,遗传编程,是由Koza提出的,遵循主要概念。按照目前的术语,进化计算(或进化计算)指的是整个领域,所涉及的算法称为进化算法,而进化规划、进化策略、遗传算法和遗传规划则被认为是相应算法变体下的子领域。
Intelligent Computing: The Latest Advances, Challenges and Future