监控与视频存储解决方案
本系统提供视频图像数据,实现对涉案或者具有涉案嫌疑、重大时间预警、系列案件涉及区域、重要敏感期、重要场所等特殊视频图像信息的整理、分类、存储与动态管理。因此对网络存储系统提出高可靠的需求。
视频监控系统具体需求如下:
- 存储模式:集中存储;
- 存储规模:160TB可用容量
- 存储码流:8Mbps(预估);
- 解决方案
云存储系统一般位于视频监控系统业务流程的底层,前端监控设备采集的视频数据在流媒体服务器层汇聚,云存储系统负责接收流媒体服务器转发的视频码流进行存储实现录像业务,同时负责按用户要求检索视频数据然后发送给流媒体服务器实现回放业务。
整套云存储系统包含以下部分:
- 管理节点
- 原数据存储节点
- 数据存储节点
- 用于连接各个组成部件的存储网络
-
- 视频监控存储数据工作原理
在JPC集中视频监控存储系统系统中,视频数据在录像时被分为数据和元数据,数据直接通过以太网络发送给存储设备,元数据则通过以太网络发送给元数据控制器,这种方式称为带外存储架构;其中,元数据是数据存储在文件系统中的位置索引,通过元数据可以在大量存储设备中快速检索并读取到数据体。
在这种工作方式中,云存储系统可将所有存储空间都纳入到一个虚拟存储池中统一管理,构建全局统一命名空间;所有存储服务器都可以访问到所有元数据,实现跨平台全局数据共享,可提供高性能以及共享访问能力;如下图所示:
JPC存储系统视频监控云存储系统工作原理
云存储系统支持多种盘阵组织策略,通过负载均衡策略,可以聚合所有存储设备的性能,为前端应用提供所有存储设备聚合起来的最大性能。当存储空间不足或存储性能不够时,只要在线添加存储设备,随着存储设备数量增多,整套云存储系统所提供的容量和性能同步增加,可满足本方案的后期容量和性能扩展需求,在线扩展时,用户业务不受影响。
同理,当前端存储服务器性能不足时,云存储系统还支持在线添加存储服务器,用户业务不中断。
-
- 容量设计
- 净容量需求
- 容量设计
路数 |
码率 |
录像时间 |
保存天数 |
CBR冗余 |
所需净容量 |
42 |
8M |
24小时 |
60 |
冗余 |
160TB |
注1:1024为MB、GB和TB各单位之间的转换系数,1PB=1024TB 1TB=1024GB,1GB=1024MB。
-
-
- 存储设备数量计算
-
存储节点采用16盘位设计,配置企业级近线SAS磁盘,其中15块12TB磁盘组成一个RAID5,1块12TB磁盘做为全局热备盘,存储设备数量和磁盘数量计算如下:
所需净容量 |
RAID配置 |
单台净容量 |
存储设备数量 |
磁盘数量 |
实际裸容量 |
160 |
RAID5(15+1) |
10T |
1台 |
16 |
160 |
计算方法如下:
存储节点数量=所需净容量/单台设备RAID后净容量
磁盘数量=存储节点数量 x 盘位数
-
- 方案拓扑图
在本方案中,采用云存储解决方案,存储直接连接前端业务网络,将存储空间通过交换机共享给前端多台存储服务器使用。拓扑如下图:
视频监控存储系统的网络拓扑图
-
- 方案特点
- 高可靠
- 管理节点、存储节点、元数据存储节点、存储网络均采取全冗余方案。
- 模块化冗余电源
- 支持扩展及RAID机制
- 海量统一共享命名空间。
- 支持NAS共享服务。
- 可对全局数据进行共享。
- 高带宽
- 万兆前端端口或千兆端口
- 存储网络采取千兆网络。
- 线性扩展
- 支持横向(Scale out)扩展,在线添加存储节点,容量在线扩展。
- 随着设备数量增加,性能线性提升。
- 技术优势
- 带外存储架构,提高检索性能
JPC存储系统视频监控集群存储系统支持元数据独立管理,将元数据传输路径与数据本身传输路径分开处理;相比数据本身,元数据体积很小,由元数据控制器单独管理;这种带外存储架构,可以极大提高视频数据检索性能,并减少观看同一热点视频造成的堵塞。
采用可靠的数据传输架构,数据本身可以支持NAS方案所依赖的文件IO方式,可以采用更高性能的块级IO方式,在内部基于SAN架构,对外部用户提供像NAS一样的统一全局共享命名空间,有效结合了SAN与NAS的优势,构建基于SAN+NAS集群架构的虚拟存储池。如下图:
JPC存储系统视频监控存储系统SAN+NAS集群架构示意图
-
- 跨平台全局数据共享
视频监控内嵌NAS集群文件系统,可构建虚拟存储池,支持将所有集群存储柜的存储空间都纳入到一个虚拟存储池中统一管理,构建全局统一命名空间,在元数据控制器的统一管理下,可支持跨平台数据共享访问模式,提供高性能的共享访问能力。
跨平台全局数据共享示意图