中文名 | 面向三旧改造的多源异构大数据管理分析与挖掘研究 | 第一完成单位 | 华南农业大学 |
---|---|---|---|
主要完成人 | 胡月明、陈志奎、李波、薛月菊、王秀坤、梁云、王栋、谭浩宇、夏锋、赵元 | 项目类别 | 科研项目 |
三旧改造是提高土地利用效率,推进城镇化发展的根本途径,正在成为我国政府和科技界共同关注的焦点,面向三旧改造多源异构大数据管理分析与挖掘技术对于推进三旧改造健康、规范、有序、稳步开展意义重大。 本项目致力于研究面向多源异构大数据的数据管理和挖掘的基础理论与关键机制。主要解决基于多源异构大数据的管理与挖掘问题,需要在数据存储、数据索引访问、数据实时性快速计算、模式挖掘等方面提出新的思路,以突破数据管理和挖掘所面临的挑战,以解决数据存储的大规模与并行处理的高效性之间的矛盾、数据处理需求的多样性与数据处理机制的高效、简单、可靠之间的矛盾,实现高效、可靠、低成本的大规模土地数据处理。基于项目研究成果搭建了大数据云平台,开发了三旧改造示范应用系统。选定顺德区、深圳市作为示范应用区,分别应用本项目所取得研究成果开展三旧改造的潜力评价示范工作,为三旧改造评价提供有效的决策支持。项目研究为大数据领域的快速发展提供坚实的理论和技术基础,对于广东省发展发展信息产业并服务于城镇化建设具有重要价值。,三旧改造是提高土地利用效率,推进城镇化发展的根本途径,正在成为我国政府和科技界共同关注的焦点,面向三旧改造多源异构大数据管理分析与挖掘技术对于推进三旧改造健康、规范、有序、稳步开展意义重大。 本项目致力于研究面向多源异构大数据的数据管理和挖掘的基础理论与关键机制。主要解决基于多源异构大数据的管理与挖掘问题,需要在数据存储、数据索引访问、数据实时性快速计算、模式挖掘等方面提出新的思路,以突破数据管理和挖掘所面临的挑战,以解决数据存储的大规模与并行处理的高效性之间的矛盾、数据处理需求的多样性与数据处理机制的高效、简单、可靠之间的矛盾,实现高效、可靠、低成本的大规模土地数据处理。基于项目研究成果搭建了大数据云平台,开发了三旧改造示范应用系统。选定顺德区、深圳市作为示范应用区,分别应用本项目所取得研究成果开展三旧改造的潜力评价示范工作,为三旧改造评价提供有效的决策支持。项目研究为大数据领域的快速发展提供坚实的理论和技术基础,对于广东省发展发展信息产业并服务于城镇化建设具有重要价值。
成果登记号 |
20190365 |
成果名称 |
面向三旧改造的多源异构大数据管理分析与挖掘研究 |
第一完成单位 |
华南农业大学 |
主要完成人 |
胡月明、陈志奎、李波、薛月菊、王秀坤、梁云、王栋、谭浩宇、夏锋、赵元 |
研究起始日期 |
2014-01-01 |
研究终止日期 |
2017-12-01 |
主题词 |
三旧改造;大数据;实时处理;数据索引;模式挖掘 |
三旧改造:指广东省特有的改造模式,分别是“旧城镇、旧厂房、旧村庄”改造。“三旧”改造是国土资源部与广东省开展部省合作,推进节约集约用地试点示范省工作的重要措施。开展“三旧”改造的项目,必须符合城市土地...
在城中村改造方面,将确定符合广州实际的城中村改造规划指引,用于指导具体各村改造方案的编制。目前这一指引正在编制中。指引中确定了城中村改造的4种模式,这也将是未来广州138条城中村改造可以套用的模式:一...
大数据对企业产生的一个重要价值就是分析数据的质量,此外,企业内部是否会形成一个个孤立的数据孤岛,数据是否会成就企业内某些人或团队新的权力,导致数据不能得到实时有效地分享,这些都会是阻碍大数据在企业中有...
针对城市轨道交通大数据,分析了城市轨道交通非结构化数据的来源、类型和产生方式,讨论了非结构化数据的获取方式和组织策略,结合上海城市轨道交通实际情况提出了适用的城市轨道交通非结构化数据存储架构。
针对城市轨道交通大数据,分析了城市轨道交通非结构化数据的来源、类型和产生方式,讨论了非结构化数据的获取方式和组织策略,结合上海城市轨道交通实际情况提出了适用的城市轨道交通非结构化数据存储架构。
随着大型桥梁结构健康监测系统的不断发展, 桥梁监测信息呈现数据量巨大、种类多,增长快等显著的“大数据”特征,传统的单一时序数据挖掘技术由于数据存储成本高、计算效率低、且不能有效分析多参数信息,已无法有效分析处理结构状态信息。本项目针对以上问题,通过研究桥梁结构健康监测信息大数据特征,提出大数据环境下的近似时序数据模型、单/多元时序数据挖掘算法,解决海量异构桥梁监测信息数据压缩、多参数数据融合和大数据环境下的桥梁结构状态表征参数提取及评估等关键问题,构建基于大数据挖掘的桥梁结构状态综合分析与评估理论方法与技术体系,进一步结合模型试验与实际工程应用,验证并优化完善以上理论与技术。本项目研究在推动大数据挖掘技术的发展的同时,可望丰富桥梁结构健康状态分析与评估的理论和方法系统,对大型桥梁的养护、运营管理和灾难预警等具有重要应用价值。
随着大型桥梁结构健康监测系统的不断发展, 监测信息呈现数据量巨大、种类多,增长快等显著的“大数据”特征,传统的单一时序数据挖掘技术由于数据存储成本高、计算效率低、且不能有效分析多参数信息,已无法充分提取结构状态信息。本项目针对以上问题,主要研究大数据环境下桥梁结构健康监测数据分析和挖掘方法。主要研究内容包括:(1)针对结构健康监测系统采集到的数据很容易产生大量的数据缺失、异常问题,严重降低了数据集的质量,提出了一种基于优化训练的结构健康状态评估方法,实验结果证明优化后的训练集不仅减少了训练集中样本的数目,且有效提升了训练集的质量,从而提高桥梁结构健康状态分析准确性和效率;(2)通过研究结构健康监测信息大数据特征,利用符号化聚合近似时序模型将原始数据分段聚合并符号化表示,有效解决大数据环境下数据压缩问题,提供数据处理分析效率,经实验证明该方法可大大提高了结构健康状态分析效率,相较于原始数据,该方法不仅将处理时间从原来的数小时降低至数秒,且评估结果正确率得到大幅提升。相较于传统的基于时间序列分析的桥梁结构损伤识别框架,我们提出的框架更加高效、灵活,可更好地分析海量的桥梁结构健康监测时序数据,实时评估桥梁结构状态。(3)基于多元时序数据挖掘的多参数融合技术,通过处理多维数据,对整体结构健康状态进行全面有效分析评价,实验证明该方法能够对多维数据进行分析并具有较高的精准率,比其他传统方法有显著提升,从而提高在复杂因素耦合作用下结构健康状态分析和评估的准确性和可靠性。综上所述,本项目创新性地提出了基于大数据挖掘的桥梁结构健康状态评估理论与技术,并结合模型试验与实际工程应用进行了验证,其研究成果丰富桥梁结构健康状态分析与评估的理论和方法系统,对桥梁、地铁隧道等大型工程结构的养护、运营管理和灾难预警等具有重要应用价值。 2100433B
本项目系统地研究了面向CAD的图形多约束理论、方法及其应用,提出了多约束关系识别、理解与自组织的三大基本原理,提出了约束关系自组织的一系列新概念和新方法,提出并实现了8大基本约束种类及其形成的一系列新算法,应用图形多约束理论与方法进行工程图扫描图象整体识别,应用图形多约束理论与方法进行零件图装配图一体化设计,提出并实现了基于约束关系自组织的离线参数化技术。上述各项研究成果中,应用图形多约束理论与方法进行工程图扫描图象整体识别与基于约束关系自组织的离线参数化技术是两项实质性的突破,已得到学术界同行的肯定与认可。本项研究在国内外学术期刊和学术会议上共发表论文十六篇。 2100433B