结构化机器学习若干关键问题研究项目摘要

结构化机器学习能从有丰富内在结构的数据中学习结构化假说，它已成为人工智能和知识处理的最重要研究领域之一，其研究具有重大理论意义和应用价值。结构化机器学习研究已取得较大进展，但还存在如下不足：缺乏面向大规模、异构、不完备关系数据和动态系统的高效、可扩展的模型和学习方法；大多数学习和推理算法研究是相互分离的；不能充分运用现有理论成果解决相关新问题；缺少结构化社会网络学习方法等。本项目拟重点研究大规模关系数据的多层次/混合模型，迁移学习方法，统计谓词发现方法，针对序列决策、不完备关系数据的学习方法，学习和推理深度结合的方法；面向大规模、动态、异构网络数据高效、可扩展、增量式协作/半监督分类和链接预测算法；高效的社会网络结构化学习方法。本项目的实施对深化人工智能研究，推进结构化机器学习在生物信息学、社会网络分析、Web挖掘和搜索等领域的应用具有十分重要的意义。

近年来，许多学者开始关注内部相关或相连的“结构化数据”的研究。随着应用领域的不断延伸和数据规模的急剧增长，急需针对大规模、动态结构化数据，具有可扩展性和增量学习能力的新型、高效结构化学习模型和方法，特别是针对网络这类最重要、最广泛的结构化数据的新型挖掘和分析方法。据此，本项目围绕结构化机器学习模型和方法、面向网络的结构化机器学习新方法，以及模型和方法的验证与应用开展研究，取得如下成果： 1、结构化机器学习—支持向量机与贝叶斯网。对面向支持向量机(SVM)和贝叶斯网的结构化机器学习进行了深入研究。1) 针对SVM本身存在的缺陷及其应用于复杂决策问题效果不佳等问题，提出一组具有强泛化能力的模型，包括：基于粗糙集特征选择的SVM模型、基于局部Fisher判别分析的SVM模型、高效的三阶段混合SVM预测模型和基于多目标群智能框架的SVM模型等。2) 贝叶斯网推理和学习：提出应答多重查询精确推理算法、基于回溯和基于分治的启发式搜索算法；提出基于蜜蜂进化型多种群进化策略的结构学习算法和基于混沌双种群进化策略的增量学习算法。 2、结构化机器学习—复杂网络社区发现与分析。从马尔科夫动力学、谱聚类分析、大偏差理论、混合随机块模型等方面对复杂网络社区结构进行了深入研究。1) 首次将复杂网络簇结构分析与随机过程的动力性结合起来研究，提出基于马尔科夫链亚稳性的复杂网络簇结构谱分析理论。2) 提出复杂网络多元结构模式识别问题和算法。提出用于定义和建模多元模式的多尺度模块模型；在贝叶斯概率推断框架下，提出复杂网络多元模式识别算法。3) 提出多种复杂网络社区结构识别新方法，包括：基于自组织、自适应多Agent系统的分布式网络社区挖掘方法，基于随机网络集成模型的广义网络社区挖掘算法，基于约束扩散动力学模型的重叠社区挖掘方法等。 3、结构化机器学习—智能决策与信息融合。面向农业信息化、疾病监控与诊断、信息融合等领域进行了应用研究。提出基于贝叶斯网的农作物病虫害主动和动态诊断，基于复杂网络聚类多神经网络集成的精准施肥，基于时空信息的流行病传播网络建模与推断，基于贝叶斯网的选择性增量式信息融合等方法。 本研究发表论文81篇，其中SCI期刊论文14篇，EI收录65篇；获发明专利授权2项，软件著作权5项。上述研究成果，在社会网络分析、贝叶斯网、支持向量机和智能决策等方面推进结构化机器学习有重要意义。 2100433B

内容简介

本书是《结构化学基础》的配套教材，是北京大学两位教授积多年教学经

验，应广大读者强烈要求而编写的。

《结构化学基础》一书出版后得到读者好评，本书是书中全部习题的解答与

分析。本书不单纯限于解答习题，更重要的是启迪学生的思路、拓展解题的途

径，并将若干习题加以评注、归纳、比较。

本书不仅适用于有关专业的师生，也适用于广大自学结构化学的读者。

结构化增强学习(Hierarchical reinforcement learning: HRL)是求解大规模空间复杂优化决策问题的一类重要方法，具有广泛的应用前景,近年来成为机器学习与智能系统的研究热点。本项目以虚拟人运动规划面临的高维空间序贯优化决策问题为背景，研究结构化增强学习的快速策略迭代算法与自适应分层逼近算法，克服已有方法面临的高维连续状态空间逼近与学习泛化问题；结合HRL的理论方法创新，研究结构化增强学习在虚拟人运动规划中的应用，包括基于HRL的分层路径规划和自适应运动合成方法等。本项目的成果将有效解决现有HRL理论方法面临的算法计算效率与高维空间泛化性能等挑战问题，为虚拟人运动规划提供高效的学习优化手段，同时也将推动结构化增强学习在实际大规模优化控制问题中的应用。

本项目旨在研究结构化增强学习(HRL)的快速策略迭代和自适应分层逼近等新理论和新算法，提高结构化增强学习在高维连续空间的泛化性能与学习效率；在理论方法创新的基础上，针对虚拟人与操作环境交互过程中存在的复杂约束问题，探讨多约束条件下虚拟人运动规划的技术难点，为复杂环境的虚拟人路径规划提供理论基础和高效算法。主要研究成果包括： (1)结构化增强学习的快速策略迭代理论和方法。为提高结构化增强学习中近似策略迭代算法的学习速度和收敛速率，分别提出了基于核的特征自动构造和基于流形的特征学习方法。首次在自适应评价在线学习中引入稀疏化核方法，实现了连续状态与行为空间的高效的在线增强学习算法。提出连续空间特征基构造的改进的图拉普拉斯方法，并且与一类称为表示策略迭代的近似策略迭代方法结合，提出一种新的流形增强学习算法，仿真和实验结果验证了该算法相比已有算法能够在多种参数设置条件下获得更好的学习性能。 (2)在已有工作的基础上，提出和完善了一种求解大规模或者连续空间问题的基于二叉树空间分解的分层近似策略迭代(HAPI)。从理论上分析得出，由于将初始的MDP分解成为具有二叉树结构的子MDP，再用API方法逼近局部近似最优策略，所以该方法可以降低复杂度并且保持较高的精度。通过对三个标准学习控制问题的试验，证明了在保持相同样本和基函数的条件下，HAPI方法与已有算法相比较，可以得到更好的近似最优策略。 (3)以虚拟维修应用中多约束条件下的虚拟人运动规划为目标，研究基于结构化增强学习的虚拟人分层运动规划理论框架。在该框架中，把运动规划问题描述为Markov过程模型，结合底层的RRT路径规划算法，通过结构化增强学习方法实现高维空间的虚拟人路径规划。 项目共发表论文22篇，12篇进入SCI检索，主要成果发表在IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Control Systems Technology等国际权威期刊，全部论文均进入EI检索源。项目负责人受邀担任国际期刊Information Sciences(IF=3.6)的Associate Editor和Int. J. of Adaptive Control and Signal Processing的Guest Editor 2100433B