分布式存储系统

为了简化用户端的使用,提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力。

分布式存储系统基本信息

中文名称 分布式存储系统 目    的 降低网络压力
用    法 数据分散存储在多台独立的设备上 焦    点 可靠性和安全性

在一个视频监控系统中,选择什么样的存储解决方案直接决定了整个系统的系统架构以及系统的性能和稳定程度。

一种是在摄像监控前端采用有一定存储容量(如1.2T)的DVR设备,所有需要的数据均保存在前端DVR的存储设备中,比较好的方案中,后台软件可以管理和维护多台的DVR设备,包括这些DVR设备的存储数据,如录像的转存、删除和回放等功能。这种方案中所有数据主要保存在DVR中,后台主要负责维护和必要的存储。

另一种是在摄像监控前端采用DVR或者网络视频服务器,而存储主要在远端通过后台的PC或者服务器软件来将数据保存在后台的存储设备上。

上述两种存储方案均有很多弊端,尤其当监控点很多,需要的存储量又很大的情况下,这些可能的弊端包括:由于存储分散导致难以维护;由于存储的专业程度不高导致存储的可靠性不高,进而导致整个系统的可靠性不高;存储的利用率不高;存储的扩展性不好。

为了克服这些弊端,并推荐使用基于分布式存储、集中管理思路的、以及基于iSCSI技术的IPSAN来作为视频监控的存储解决方案,这个方案的主要特点包括:

1、分布式存储,集中管理;

2、基于iSCSI技术的IPSAN(STorageAreaNetwork);

3、流媒体网关可以作为存储解决方案的核心设备。

集中管理

在这个方案中,共有三级:

1、上级监控中心:上级监控中心通常只有一个,主要由数字矩阵、认证服务器和VSTARClerk软件等。

2、本地监控中心:本地监控中心可以有多个,可依据地理位置设置,或者依据行政隶属关系设立,主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成;音视频的数据均主要保存在本地监控中心,这就是分布式存储的概念。

3、监控前端:主要由摄像头、网络视频服务器组成,其中VE4000系列的网络视频服务器可以带硬盘,该硬盘主要是用于网络不畅时,暂时对音视频数据进行保存,或者需要在前端保存一些重要数据的情况。

本地监控中心的存储设备也可以用一台服务器,带SCSI磁盘阵列的形式,但由于服务器的网络收发性能有限,从而影响整个存储系统的性能,因此有建议选用专业的iSCSI存储设备。

IPSAN

1) iSCSI原理简介

iSCSI 是由IETF 开发的一种基于存储网络的新的Internet 协议,iSCSI 的原理是将SCSI 命令通过IP 网络传输,这样就可以使在网络上传送数据更加便利,而且可以实现远程存储管理。

iSCSI 使标准的SCSI 命令能够在TCP/IP 网络上的主机系统(启动器,Initiator)和存储设备(目标器,target)之间传送。而且iSCSI 协议支持在系统之间传送标准的SCSI 命令。在系统之间的连接是通过标准的IP 网络基础设施实现的,iSCSI 的协议模型如图1 所示。

图2 iSCSI 的协议模型

iSCSI 的工作原理是:当终端用户或应用程序(启动器)发送一个请求后,操作系统将生成一个适当的SCSI 命令和数据请求,SCSI 命令通过封装,在需要加密的时候要执行加密处理。这些命令加上TCP/IP 协议的包头,就可以在以太网上传输。接收端(目标器)在收到这个数据包后按照相反的方向进行解包,解析出SCSI 命令和数据请求,SCSI命令再发送给SCSI 存储设备驱动程序,因为iSCSI 是双向的协议,所以它可以将数据返回给原来的请求。

2) 基于IP SAN的网络存储方案

图3 基于IP SAN 的网络存储方案

在这个解决方案中,网络视频服务器需要支持iSCSI 协议,是启动器,而位于监控中心的iSCSI 存储设备则是目标器。本地监控中心的iSCSI 存储设备可以充当多个网络视频服务器的存储设备,而且iSCSI 存储设备还可以再外挂磁带设备,进一步扩大存储容量。

网络存储方案

在网络存储方案中,每台网络视频服务器均占有一个IP,如果希望通过Internet 来进行远程监控,则网络视频服务器的IP 地址必须是公网IP,在通常情况,公网IP 地址都是稀有资源;另外远程监控受到网络容量的限制以及网络拥塞的影响,带宽通常不能保证,给远程监控带来了不便,而卓扬科技的流媒体网关可以解决这两个问题。

卓扬科技的流媒体网关是一个嵌入式的硬件设备,所有的报文转发均是基于硬件转发(如果是软件转发,性能达不到要求),报文的转发能力可以达到1Gbps 以上,卓扬科技的流媒体网关的主要功能包括:

支持NAT 转换功能

支持视频分发功能,当多个远程监控的用户访问同一台网络视频服务器的时候,均需要向流媒体网关发请求,然后流媒体网关再向网络视频服务器发出请求,当流媒体网关收到网络视频服务器的数据后(注意视频服务器与流媒体网关之间的数据流只有一份)再负责分发给远端的多个监控用户支持视频点播服务,远端用户可以通过流媒体网关完成视频点播的功能支持iSCSI 的Initiator

卓扬科技的流媒体网关可以对上述的功能进行分别进行配置。

下图是一个流媒体网关与IP SAN 结合的网络视频监控的解决方案,在方案中,流媒体网关没有使能iSCSI 的Initiator,iSCSI 的Initiator 是由网络视频服务器完成,其中iSCSI 的存储流是把监控流封装了iSCSI 而成的。

图4 与流媒体网关相配合的网络存储方案1

下图的网络存储方案中,流媒体网关使能了iSCSI Initiator 功能,而网络视频服务器与流媒体网关传送的均是原始的视频数据流(与iSCSI 存储流相比)。

图5 中,需要对数据进行存储的时候,流媒体网关首先从网络视频服务器活动数据(①),然后再通过iSCSI 存储流将视频数据保存到iSCSI 的存储设备上(②)。当A 用户需要进行远程监控的时候,首先A 用户向流媒体网关发出请求(③),流媒体网关再向视频服务器获取数据(①),然后流媒体网关把监控视频数据发送给用户A(③)。当B 用户需要进行视频点播的时候,B 用户首先向流媒体网关发出请求(④),流媒体网关再向iSCSI 存储设备获取数据(②),然后然后流媒体网关把监控视频数据发送给用户B(④)。

图5 与流媒体网关相配合的网络存储方案2

另外,在图4 和图5 中,是否进行NAT 转换视组网需求而定,可以灵活配置。

五、 后记

基于iSCSI 的IP SAN 存储方案无疑是解决存储问题的一个良方,尤其当iSCSI 的存储设备的性能不断提高、价格不断降低的时候,采用这种方式就更是必然的选择,我们深信,基于iSCSI 技术的存储解决方案会逐渐成为大型网络视频监控中存储技术的主流。

分布式存储系统造价信息

市场价 信息价 询价
材料名称 规格/型号 市场价
(除税)
工程建议价
(除税)
行情 品牌 单位 税率 供应商 报价日期
存储系统 磁带机、SAN磁盘陈列 查看价格 查看价格

13% 成都万江港利科技有限公司
IPSAN存储系统 BL-IPSAN200-8 采用高性能 查看价格 查看价格

美电贝尔

13% 广州市华麦电子科技有限公司
IPSAN存储系统 BL-IPSAN200-16 查看价格 查看价格

美电贝尔

13% 广州市华麦电子科技有限公司
网络存储系统 型号:TC-RS1016LE;品种:网络存储系统;产品说明:具体规格详见报价单; 查看价格 查看价格

天地伟业

13% 长春市华泰安全技术有限公司
网络存储系统 型号:TC-RS1024L;品种:网络存储系统;产品说明:具体规格详见报价单; 查看价格 查看价格

天地伟业

13% 长春市华泰安全技术有限公司
网络存储系统 型号:TC-RS1024LE;品种:网络存储系统;产品说明:具体规格详见报价单; 查看价格 查看价格

天地伟业

13% 长春市华泰安全技术有限公司
存储系统 5300V3 查看价格 查看价格

华为

13% 深圳市众联达科技有限公司
超容量存储系统 型号:DS-AT1000S/192;说明:具体参数详见报价单; 查看价格 查看价格

海康威视

13% 武汉艾泰电子有限公司
材料名称 规格/型号 除税
信息价
含税
信息价
行情 品牌 单位 税率 地区/时间
微电网系统 查看价格 查看价格

广东2022年1季度信息价
微电网系统 查看价格 查看价格

广东2021年4季度信息价
微电网系统 查看价格 查看价格

广东2021年3季度信息价
微电网系统 查看价格 查看价格

广东2021年2季度信息价
微电网系统 查看价格 查看价格

广东2020年3季度信息价
微电网系统 查看价格 查看价格

广东2019年4季度信息价
微电网系统 查看价格 查看价格

广东2022年2季度信息价
微电网系统 查看价格 查看价格

广东2020年2季度信息价
材料名称 规格/需求量 报价数 最新报价
(元)
供应商 报价地区 最新报价时间
分布式存储 2个1Gb千兆端口,≥4个10Gb(万兆光口)端口采用全对称分布式架构,元数据和数据的融合部署到存储节点上,单一存储集群支持 ≥ 5000个存储节点同一系统能支持文件、块、对象三种存储|1台 1 查看价格 广州尚汉信息科技有限公司 全国   2022-01-07
存储系统 ParaStor300并行分布式存储系统|1套 3 查看价格 曙光信息产业股份有限公司 全国   2022-10-14
存储系统 ParaStor300并行分布式存储系统|1套 3 查看价格 曙光信息产业股份有限公司 全国   2022-10-14
分布式存储 2颗英特尔® 至强® 银牌4214R处理器(12核,2.4GHz);128 GB/DDR4/内存;2块Intel S4510 Series 480GB SSD(系统盘);2块 Intel S4610|3套 1 查看价格 广州市熹尚科技设备有限公司 广东  河源市 2022-01-17
分布式存储 型号:900V5P12A 3节点 单节点配置: 4U 配置2颗处理器,单颗处理器性能2.1GHz/20C,配置闪存加速模块:2块3.2T SSD 加速盘|1套 3 查看价格 广州赛瑞电子有限公司 全国   2021-11-04
分布式存储 详见附件|1套 3 查看价格 广州赛瑞电子有限公司 全国   2021-10-25
存储系统(华为) 存储系统 1.存储系统(华为) 2.品牌及型号:华为 OceanStor 5800 V5|1项 1 查看价格 北京众创同辉科技有限公司 全国   2020-05-21
分布式存储软件 1|1台 2 查看价格 北京众创同辉科技有限公司 四川   2022-09-14

分布式存储系统常见问题

分布式存储系统文献

基于网格的分布式存储系统的研究与设计 基于网格的分布式存储系统的研究与设计

格式:pdf

大小:1.1MB

页数: 2页

评分: 4.4

本文提出一种基于网格的校布式存储系统,对该存储系统实体,用户读写读写过程,存储资源调度和存储资源定位进行了研究,最后通过对通过和FTP进行文件上传和下载性能进行了测试,证明了本系统文件传输性能比FTP要高,并且文件越大,读写性能增幅越大。

立即下载
分布式网络存储系统元数据服务器群的设计与实现 分布式网络存储系统元数据服务器群的设计与实现

格式:pdf

大小:1.1MB

页数: 2页

评分: 4.6

为了满足分布式网络存储对元数据服务的要求,本文采用多个元数据服务器组成元数据服务器群,并且提出分区散列管理方案对元数据服务器群进行有效的管理。并在不涉及元数据的物理移动的前提下,实现元数据服务器群的负载平衡机制、可扩充性以及高可用性等性能。

立即下载
分布式存储系统相关推荐
  • 相关百科
  • 相关知识
  • 相关专栏