故障诊断与容错控制系统的数据驱动设计

【学员问题】能耗监测系统数据交换的设计？

【解答】在能耗监测系统中，数据测量仪表得到数字信号，通过数据采集器定时采集数据并发送到数据中心，应用软件处理数据，上传数据，整个过程都是数据交换和数据处理的过程。如何结合能耗监测系统的特点，将现有的成熟技术合理地用到能耗监测系统中，是数据交换设计的关键。数据交换主要包括数据发送、数据传输和数据解析，数据解析依赖数据发送时的数据定义。

1.数据采集过程

在能耗监测系统中数据要记录到省市级信息中心的数据库中需要包括以下几个环节，传感器测量数据，采集器获取传感器数据，采集器向省市级信息中心发送数据，省市级信息中心系统软件接收并存储数据。因此数据交换分为两大部分，其一为数据传感器和采集器的数据交换，其二为采集器和省市级数据中心系统平台软件的数据交换。采集器通过RS-485协议定时和传感器通讯并采集数据，采集器向信息中心上传数据。数据传感器和采集器为现场有线连接，具有标准的协议，不用单独设计，而采集器和信息中心数据交换必须经过INTERNET，在连接方式和数据表示法及其格式方面没有统一标准，必须结合系统特点制定自己的数据表示法和数据传输格式。

2.能耗监测数据的表示方法

数据传输采用数据流方式发送和接收，当采集器与信息中心建立连接后，开始发送数据流，在数据流中包括了采集器获取的各个传感器的数据，因此数据流中必须能够区分数据是哪个传感器的数据，数据代表的物理意义（如空调用电、动力用电等）。能耗监测数据按照《国家机关办公建筑和大型公共建筑能耗监测系统软件开发指导说明书》定义数据代码，明确真实数据和计算机表示数据的关系。定义将随着能耗监测系统的不断完善，进行补充和修改。在本软件中严格执行开发指导说明书中的代码定义，使得后面信息中心的数据解析变得很容易，为解析数据提供了开放的定义，也为数据采集器提供了开放的标准。

3.采用标准的传输数据格式

数据格式应独立于软件和硬件，避免对软件和硬件的依赖，同时也减小了对软件和硬件的限制，便于不同应用程序之间共享数据。本软件采用XML格式传送数据，主要考虑XML数据以纯文本格式进行存储，纯文本数据在不同操作系统之间都是一样的，不依赖于操作系统，同时XML有其独立的语法定义，已成为一种标准，不用单独制定格式定义规则，且通用性强，已开发出一些公开发表的成熟解析工具，减少了编写程序的工作，程序稳定性也大大提高。从数据采集器到数据中转站或信息中心，再上传到住建部信息中心，各级均采用XML格式进行数据交换。

4.在数据接收和数据记录之间采用中间件技术

系统软件接收采集器发送的数据时间短，而接收到的数据需要记录原始数据，并在进行拆分运算后再记录到各自的数据库中，需要时间远大于接收时间，因此接收的瓶颈发生在接收数据后的处理，当有大量的被监测建筑物时，可能造成数据堵塞或丢失数据，因此必须解决传输数据的速度问题。为此将数据接收存储程序分成两部分，第一部分直接与数据采集器直接进行数据交换，及时获取数据，该部分程序功能简单，只起中间传递作用，维护量很小，第二部分保存数据到数据库并进行数据拆分，中间采用具有邮局功能的中间件技术（第三方软件），将两部分隔离，第一部分软件将得到的数据直接发给中间件，中间件可保证将收到的数据准确送达第二部分，这样较好地解决了数据接收速度和准确到达目的地的问题。第二部分程序将获得的数据按照能耗监测系统软件开发指导说明书中的要求进行存储拆分，建立各种数据库，供数据分析展示模块使用。

5.根据软件模块功能确定编程语言

数据接收部分是数据交换的核心，在选择语言时，需要考虑数据传输格式和界面设计，该部分没有复杂界面，传输数据格式在上述3.2和3.3中已经明确，采用XML格式进行数据传输，所以采用JAVA语言作为数据交换部分的编程语言，它具有较强的处理XML格式数据的功能，同时有很强的跨平台可移植性，数据无需转换，所以便于操作系统升级；数据分析展示部分对界面要求高，属于客户服务器模式，采用。Net编程。

6.采用标准的协议与数据采集器进行数据通讯

目前，不同厂家的BAS系统之间很难进行数据交换，各自组成一个封闭的系统。原因是没有开放的统一的数据传输标准。能耗监测系统是一个新的应用系统，而采集器必须与省市级平台软件进行数据交换。因此上游软件开发商应考虑系统的开放性和兼容性，便于采集器生产商自行开发满足系统软件要求的数据发送程序，便于集成商集成系统。通过3.2和3.3建立的开放能耗监测系统数据通讯协议，数据采集器厂商可以方便地开发与系统软件通讯的数据发送程序。

7.双通道设计

监测系统和采集器一直处于连续运行状态，当一些采集器参数需要更新或程序升级时，采用两个连接的逻辑通道，可以在不影响正常使用情况下，保证信息中心与采集器的指令信息交换。

以上内容均根据学员实际工作中遇到的问题整理而成，供参考，如有问题请及时沟通、指正。

由大数据触发的数据驱动的做法是一种最好的理解。如今，各个组织正在各种数据结构，格式和分布式地理数据源位置等方面进行竞争，并在时间框架和数量上超过了现有系统的能力。

以往人们关注了社交，移动和云平台的应用与发展。同样重要的是，在大数据时代之后涌现出的几种辅助技术得到了蓬勃发展，由此产生的基础架构，架构，以及IT挑战表明，整个数据环境发生了模式转变，这种变化是由改变业务进行方式的力量的开始决定的。

由于这种转变的迅速性和其需求的即时性，许多组织希望在市场上寻找最好的解决方案，并有大量的点解决方案来解决数据景观的大规模系统变化，而这些零碎的方法在短期内提供有限的价值，但是由于供应商的锁定和业务的需求不断变化，长期来说其最终成本更高。

此外，即时的反应需要不同的工具来管理大数据的每个方面复杂的架构，同时耗费大量的时间。这种方法的根本缺陷是，这样的工具不是明确设计用于大数据，这限制了其在大数据革命后的价值。

大数据的涌入指出了一系列跨行业因素产生创新的方式，从最初的采纳到分析。这些普遍存在的市场力量对于为数据管理过程的每个方面需要针对大数据技术设计的全面方法是有帮助的。

大量的数据使得需要一个集中的平台，应对当今和未来的数据驱动实践的每一个方面，最好以终端用户管理的自助服务智能数据湖的形式实现。

无处不在的市场力量

了解负责重塑数据环境的市场力量的性质，需要在技术和非技术方面对其进行分析。在前者中，对SMAC（社交，移动，分析和云计算）的依赖代表了访问大数据手段的最大决定因素。这些技术深深地影响了大数据对企业的获取形式和形式。它们最显著的效果可能是它们所使用外部数据创造的前所未有的价值，这反过来又有助于强调这种数据与内部数据的集成。同样，他们负责多元结构数据的突出和其固有价值的企业的复杂性。

这种复杂数据格式所带来的新颖的复杂性通过单一集中的语义平台的流线型架构而被均匀地缓解。具体来说，通过在RDF图上链接在一起的演进的语义模型来无缝地合并数据源和类型的多样性的多结构化格式。在该框架内，所有数据元素以标准化方式彼此并排表示，代替了对传统方法所要求的各种结构化数据管理不同数据库，数据模型和模式的需要。在这样的独特平台中，其架构和底层基础设施被明显简化，相应地降低了成本。

非技术力量的典型代表是加速的业务步伐，并在这些缩短的时间框架内解析的数据量。企业进行的速度会受到互联网的普遍性以及它在工作流中根深蒂固的实时响应的巨大影响。这种权宜之计是大数据的其他规定，例如当前流行的传感器数据，移动通信的快速性，以及这些因素能够产生的机会的增加。在这些力量的影响的关键考虑是它们的临时性质。组织可以获得更多的机会，但他们也稍纵即逝，需要对时间敏感的方法来利用数据。

综合平台解决了这些加速的时间问题，使终端用户在决策和基于分析的行动阶段比零碎的方法更快。对单个节点的语义图表示适当的加速调整模式和重新调整了模型与其他方法的奇异性。加速了整个数据准备过程，这可以垄断最好的数据科学家的时间，或者最基本的以数据为中心的需求过分依赖IT。用户能够投入更多的时间用于数据发现和分析，分享现代企业制定的速度。

解决常规问题

上述力量已经塑造了数据环境，由于日益分层的数据管理过程的必要性，导致集中的语义平台广泛的问题。来自SMAC技术的多结构化数据以快速交付的大量数据可能对数据格局的常规领域造成严重破坏，包括：信息治理，数据准备，数据集成，搜索和发现，商业智能和文本分析。

当考虑采用点解决方法的孤岛方式处理数据的这些方面时，容易成为供应商锁定或昂贵的更新的牺牲品，从而产生大量的停机时间。这种方法最大的问题是，当业务需求或流程改变时，会缺乏灵活性，任务组织重新启动手段实现，这六个重要功能之一。因此，当他们的系统不能产生价值，同时被迫采用更多的系统维护时，组织会花费更多的时间。

集中式方法的核心价值主张是实现数据使用的所有必要条件的整体方式。通过向现有系统提供必要的覆盖，该方法能够在短期和长期中实现收益。立即获益包括更大程度的企业治理监督，部分通过标准化建模促进，在大多数情况下，包括所有企业数据。随后，数据来源和数据建模更容易解释，并且更易于追踪，这加速了集成尝试。其结果是更快地洞察在组织范围内的治理协议与高度可见的数据，增加对数据资产的信任。

随后的收益与这种洞察的性质有关，远远超过从点解决方案中收集的收益。语义图的链接数据方法集中于节点之间的关系洞察，这有助于其他技术无与伦比的看似无关的数据元素的背景文化。用户能够有更多的数据，以识别他们之间的关系，以及他们的使用情况，否则是无法发现的。

此外，这种链接数据方法使数据发现过程在很大程度上实现了自动化，同时提供了探索性分析，用户可以在其中询问和回答尽可能多的问题。分析的结果是全面明确，并且包罗万象。采取零碎的方法，实现这些目标是困难的。

预期未来的发展

培养对集中化需求的最紧迫的营销力量是大数据本身日益扩大的影响。对未来几年生产的数据量的预测表明，其扩张并不会停止和停滞。当考虑连接的设备的数量全部无限地在物联网中产生数据，以及增强现实和虚拟现实的进步，并考虑这样的数据的人工智能选项的可用性时，显而易见的是大数据的规模，速度，结构将在不久的将来大量增加。

集中的图形感知环境为这些即将到来的技术进步做好准备。使用它作为hadoop或其他数据湖设置的基础，使其具有在这种工作负载密集型数据驱动部署中持续提供价值所需的规模和性能一致性。更重要的是，它是一个单一的手段简化每个组件的短期解决方案，点解决方案不是为大数据的需求而创建的。这种方法对于目前来说是不够的，并且对于未来大数据应用的更严格的负担当然不可行。这样的实现仅仅支持这样的观念：集中的，关系精明的语义图解表示用于以管理数据为中心的需求的工业力量的融合。

必要的集中

从大数据的变革性可以看出，无论何处部署数据都可以提高业务价值。它的增长可以归因于业务加速，支持技术的新生态系统，以及企业中数据类型的多样性的快速发展。它只有单纯的市场力量，需要一个整体的手段来管理每个谨慎的组件转换数据到洞察行动。这些力量的影响是消除对现有基础设施简单地附加一些附加工具的需要。

相反，它强制要求简化企业架构，实施成本效益好的基础设施，用于包围企业的大量数据类型和技术，并且监督长期重用数据所需的组织范围治理和来源。如今的市场力量促成了对这种整体数据管理的需求同，而未来是强制性的。