遥感卫星数据处理存储解决方案

1. 1. 1. 应用系统性能需求

a. 运行管理与计划调度

1) 一天内生成全球范围内的卫星拍摄计划；

2) 根据天气情况1小时内完成计划的修正；

3) 30分钟之内完成应急拍摄计划；

4) 10分钟之内生成卫星运控指令。

b. 高精度定姿和卫星精度检校

1) 精密定姿数据精处理时段1天，事后姿态处理精度优于1.0″（1s）；

2) 内方位元素检校精度优于0.3像元（1s）；

3) 3个月之内完成1次有效地面检校。

c. 影像分析

1) 模拟图像和在轨真实图像的测图和判断能力对比验证结果不一致性不超过10%，4台相机影像模拟时间小于4小时；

d．影像处理与产品生产

1) 数据接收到归档时间小于等于5小时；

2) 当天数据处理、加工和质检等时间小于24小时。

e. 影像与产品质量检查

1) 产品错检率低于5%；

2) 1级产品质量检查实现75％全自动检查，在产品完成生产提交检查的1－3个工作日内完成检查。

3）高级产品质量检查抽检，抽检符合测绘产品相应质检规范

f. 数据管理与产品服务

1) 构建一体化的综合数据库，实现应用系统产品数据资源的集中式一体化管理和系统维护，保障系统不间断安全稳定高效运行；

2) 元数据3年在线，3年近线，3年离线；辅助数据和原始数据（指星敏感器和GPS等定轨定资相关数据）10天在线，半年近线，离线3年；0级数据10天在线，近线和离线不存；1级和高级产品30天在线，近线半年，离线3年。

3) 提供元数据检索、目录检索、空间检索、地名检索、时空检索、组合检索等多种检索方式，方便用户使用，检索响应时间小于5秒；

4) 提供数据资源统计、存储资源统计、运行状态统计、用户信息统计等多方面的统计分析，可定制报表，统计分析报表平均响应时间< 10秒；

5) 每天2TB成果数据8个驱动器1个小时内全部归档至磁带库存储，1GB影像数据归档时间<10秒；1GB影像数据从磁带库恢复至盘阵响应时间小于10秒；

g. 产品服务

1) 门户网站支持最大日访问量40000次/日；支持最高同时在线人数1000人；

2) 已存档的XXXX卫星各级影像产品在订购后1个工作日内可对需求客户进行数据分发；

4) 尚未存档的XXXX卫星各级影像产品在订购后1个工作日内完成订单审核，并向用户反馈订单处理状态；

5) 外网数据访问带宽不低于100Mbps，满足200个用户并发下载条件下。

h. 应急数据与产品处理

应急模式下，标准产品数据处理时间小于2小时。

1. 1. 存储平台需求
      1. 存储数据内容
1. 卫星原始信号存储
2. 卫星数据1-5级数据处理成果
3. 数据库结构化数据
4. 虚拟化系统映像数据
5. 管理系统数据
6. GIS系统等相关应用系统辅助数据
7. 其他新增应用数据等。
   1. 2. 卫星数据存储容量需求

地面应用系统每天数据接收量，根据卫星数传通道数据率和每天平均接收时间计算。地面系统每天接收的数据量计算公式为：

其中，r为数传通道数据率，t为每天平均接收时间，n为卫星数传通道数目。

以此为基础，以吉林一号卫星为例：计算地面应用系统接收吉林一号光学A星、两颗视频卫星和一颗灵巧验证星等四颗星的各级产品数据量如表5-1和5-2所示，其中原始数据都保留，85%以上含云图像不生产。

1. 1. 1. 1. 1. 每天存储数据量（注：单位TB）

计算结果：存储冗余按1.2倍后，预处理和处理系统(不包括分发系统外)的数据量统计如下:

一期2015年5月：近在线一体0.29B；离线存储需求为5.38PB

二期2016年5月：近在线一体1.52PB；离线存储需求为30.96PB。

1. 1. 3. 在近线存储带宽需求

卫星信号自原始信号接收开始，所有处理步骤均需要对在线存储平台进行IO读写，因此在近线存储系统的处理带宽必须满足系统应用要求，特别不能延误原始信号接收，形成数据中心的瓶颈。

根据经验，做如下假设：卫星原始信号首先写入存储系统，后续处理假设每进行一次高级别数据处理，均需要将等体积的数据进行输入输出。

根据中心每日信息处理量，系统需要读写带宽估算见下表。由于卫星只有处于监测站上空时才能将信号发于地面站，因此假设16颗卫星处于数据传输状态的时间占每天时间的1/4即6小时。

1. 1. 1. 1. 1. 卫星数据处理带宽需求（一期）

1. 1. 1. 1. 2. 卫星数据处理带宽需求（二期）

1. 1. 4. 离线存储带宽需求

假设每日数据备份窗口为6小时，则系统需要在此时间内将今日所有生产的数据写入离线存储，则：

1. 1. 1. 1. 1. 离线归档系统写入带宽

云存储系统要求可以按照一定规则自动将在近线数据迁移到离线设备中，以减少人工干预之维护成本。

2. 技术方案总体设计
   1. 方案总体构架
      1. 私有云理念

XXXX数据卫星数据中心整体上采用了基于私有云的体系构架，计算资源可以被云操作系统CloudView进行统一的调度、管理，一方面降低了用户的管理成本，另一方面实现了资源的动态分配，降低了系统的整体造价。

考虑到卫星应用的专业性与保密性，系统运行特殊要求的的应用不使用虚拟化技术，而是独享物理服务器，追求及高的性能。

1. 1. 2. 系统区域划分

根据XXXX卫星数据中心需求，项目总体划分为4系统区域：

1. 数据接收与预处理区域

2. 业务规划和调度区

3. 数据处理与存储区

4. 数据产品发布和信息服务区

1. 1. 3. 根据系统功能划分为4个模块：

1. 网络平台模块：负责所有设备的间的通信与对外联络

2. 存储平台模块：存储卫星数据中心的核心价值——数据

3. 计算平台模块：负责对卫星数据进行处理、提炼，并提供对外访问服务

4. 管理平台模块：负责数据中心运维、管理、调度等工作。

1. 2. 网络方案总体构架

网络子系负责连接所有服务区，是计算中心的“神经系统”，对可靠性、安全性要求非常高。

从功能角度网络子系统分为管理网络与数据网络，分别负责管理数据通信与数据网络通信。

从硬件区域划分为两部分：内部网络（数据接收与预处理区、业务规划和调度区、数据处理与存储区），数据产品网络（数据产品发布和信息服务区）。

本方案采用交换冗余配置，无论是核心交换机还是接入交换机，均采用双机冗余方案，在避免了网络单点故障的同时，提高了网络性能。

接入交换机与服务器间互联采用了万兆以太网互联模式，接入交换机与核心交换机间采用了4万兆冗余网络进行连接，保证系统网络通信的收敛比。

1. 3. 计算方案总体构架

计算部分按照业务分区的划分也划为四个部分，如上图（标颜色的部分为虚拟化平台）。分区内的数据库服务器部署在物理机上；应用服务器一部分部署在虚拟化平台上，一部分还是采用物理机部署。每个分区的计算资源规划如下：

（1）数据接收与预处理区

数据中心接收到实时卫星下传的通讯数据后，需要对数据进行处理，包括信号数据到0级处理、信号数据从0级到1级的处理。数据处理内容包括数据解码解压缩、数据解密等处理过程。同时，还需要一部分计算资源做任务的管理和调度。

数据接收与预处理区的数据库管理系统包括基础地理数据、控制点数据库以及编目和元数据库。

（2）数据处理与存储区

卫星数据在预处理区初步处理完成后通过网络导入到数据处理和存储区，在数据处理和存储区内将1级数据根据需要进行再处理，其中有20%的数据需要处理成更高级的数据产品。数据处理与存储区也需要一部分计算资源做任务的管理和调度。

数据处理与存储区的数据库服务器用来存储管理库内的生产数据。

（3）发布和服务区

数据服务及发布服务区的功能是将处理后的数据产品进行发布，其应用包括web应用服务，GIS服务等。

发布服务区的数据库用于空间数据服务。

（4）业务管理和调度区

业务管理和调度区负责对整个业务流程进行管理和调度，包括卫星健康监测、载荷管理、监控、生产任务的监控和调度等。业务管理和调度区包含多个图形工作站客户端。

业务管理和调度区的数据库服务器也用于空间数据库。

1. 4. 存储方案总体构架

核心存储平台需要严格保证卫星数据及其衍生产品的数据安全性，因此系统为内网区域与数据产品服务区分配配置了两套独立的云存储系统。

数据产品服务区的云存储系统配置了XXXXTB可用空间。

内网的云存储产品提供的在近线存储、离线存储

1. 1. 1. 存储系统功能拓扑图

1. 1. 1. 1. 1. 存储系统拓扑图
      2. 存储系统与应用紧密配合

Parastor并行存储系统在设计之初就将数据存储、处理、备份、销毁全部生命周期考虑到设计框架之中，通过磁盘与磁盘之间的介质不同实现分级存储功能，用户可以制定规则，让存储系统自动完成数据归档等功能，大大降低用户的维护成本。

Parastor并行系统自身的IO带宽与存储设备的容量成正比，随着卫星数量增加，存储容量增加，系统IO处理能力也会线性提高，免去用户对系统扩容后性能需求的后顾之忧。

1. 5. 数据中心管理

云数据中心指采用了虚拟化、云计算等先进技术构造的新型的数据中心。较之传统的数据中心，云的管理更为复杂，要求也更高，需要采用全新的管理模型和灵活的功能架构，并且充分考虑基础设施（资源）、业务运行、运维服务等各种管理要素，面向用户应用需求，通过按需装配资源组件，建立一个开放式、标准化、易扩展、资源可联动的统一智能管理平台，实现精细化管理，为云计算中心的各种业务系统提供支撑。

1. 6. 高可用总体设计

系统在设计之初就以安全为中心，所有硬件、网络设备均采用冗余设计，不包含单点故障。

云存储系统自身支持虚拟机的故障的自动迁移、恢复，保证了系统的高可用性。

网络系统中，所有交换机均采用1+1冗余设计，即保证网络高带宽，同事也提供了系统的高可用性。

存储系统中，所有磁盘阵列均采用双控冗余设计，磁盘采用raid5以上级别保护机制，放置单点故障导致的服务终端；云存储系统也采用了N+M纠删码机制，任何一台存储服务故障系统服务不会终端。

安全平台中的防火墙、堡垒主机等设备也采用了双机配置，保证系统的高可用性。

3. 网络方案详细设计

网络子系负责连接所有服务区，是计算中心的“神经系统”，对可靠性、安全性要求非常高。

从功能角度网络子系统分为管理网络与数据网络，分别负责管理数据通信与数据网络通信。

从硬件区域划分为两部分：内部网络（数据接收与预处理区、业务规划和调度区、数据处理与存储区），数据产品网络（数据产品发布和信息服务区）。

1. 1. 内部数据网络拓扑图

内部数据网络采用40G核心交换机，10G接入交换机的两层交换网络，为数据中心的扩容留下了充足的空间。