无人机图像压缩存储系统

北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 无人机图像采集设备 设计-北京汇众思壮图像技术有限公司 1 功能描述 1）能同时采集 4路 GigE数字摄像机和 1路模拟摄像机图像； 2）可对 4 路 GigE 数字图像和 1 路模拟图像实时压缩。如果是 Bayer彩色相 机，先进行 Bayer转换，再进行图像压缩； 3）能同时采集 2路语音视频，并压缩记录； 4）能接收 IRIG-B时间信息，且对所有相机具有时间同步功能，并具有守时功 能； 5）能将时间信息嵌入到图像数据中； 6）具备硬盘在线复位功能，能恢复到最大存储容量； 7）能发出脉冲触发信号来触发相机采集； 8）可以通过软件修改相机分辨率、帧率、ROI等功能； 9）可以配置设备运行参数； 10）可以通过以太网输出图像、配置参数等。 2 总体方案设计 2.1 硬件设计方案 整个系统组成如图 1所示： 系统由五块 GigE 相机转换（接收）板、一块模拟相机图像采集板、一块音 频采集压缩板、一块压缩存储板和一块 GigE图像数据发送板组成。 GigE 相机转换板将 GigE 相机的 Bayer数据转换成并行数字信号，包括帧同 步、行同步和灰度数字信号，输出到压缩存储板。同时，GigE相机转换板还具有 一路 RS232接口，供压缩存储板控制相机用。 模拟相机图像采集板将一路 PAL 制式的图像 A/D 采样后，形成 752*582 的 RGB数据，模拟成相机输出，同样输出帧同步、行同步、以及 24位的 RGB图像。 压缩存储板可接 5 块 GigE相机转换板、1块模拟相机采集板、一块 GigE图 像数据发送板。压缩存储板采集相机图像数据，将 5块 GigE中转换出的图像（不 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 超过 4 路）合并成一幅大图，然后压缩成 JPEG2000；模拟相机的 RGB 图像经压 缩后，和 4 路 GigE 相机压缩后的数据及音频采集压缩板的数据一起保存在 SATA2.0 固态硬盘中。压缩存储板也包括一个时间同步控制模块，主要完成 B(AC) 码的接收（解调）、1pps的产生、4路数字相机触发信号的产生、检测 28V输入 信号，并添加时间标记等功能。 整个设备提供 6 路千兆网接口，其中 5 路可接 GigE 相机，另外一路供上位 机预览、设置用。另外，提供一路 BNC接头，接入模拟相机。 存储完成后，可将一块固态硬盘拔下来，放在我们提供的读卡器上，用我们 提供的解析程序读取压缩后的图像数据和音频数据，完成播放。 整个系统组成框图如下： 模拟相机采集板 SATA盘 音频采集压缩板 GigE相机转换板2 GigE相机转换板1 GigE相机转换板3 GigE相机转换板5 GigE相机转换板4 压缩存储版 GigE图像数 据发送板 上位机 图 1 系统总体组成框图 2.1.1 GigE相机转换板 GigE相机转换板的功能比较单一，就是接收 GigE相机的输出信号，然后将 其转换成 Sensor 的输出格式，即包含行场同步的数据信号。同时，可通过串口 设置、读取相机的参数，包括曝光值、增益、ROI等信息。所有相机都处于外触 发模式，所以帧频是通过设置压缩存储板上的触发控制单元来完成的。 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 具体组成框图如图 2所示。 FPGA GMII PHY MAC GigE CPU Sensor interface FLASH EEPROM SDRAM SDRAM 同步触发信号 UART CLK & RESET 图 2 数字图像压缩板组成框图 2.1.2模拟相机采集板 模拟相机采集板有两个 BNC接口，通过 A/D采样，将两路视频合并成一路， 以Sensor的模式输出RGB信号及同步信号到压缩存储板。不能控制相机的参数。 2.1.3 压缩存储板 压缩存储板是整个设备的中心，它接入 5路 GigE相机的 Bayer原始信号， 在 FPGA中解析成 RGB数据，并压缩成 JPEG2000。压缩存储板还要完成诸如时间 嵌入、28v信号的时间标记、SATA盘的存储（包括 5块 GigE相机数据的 JPEG2000 数据、模拟相机的 JPEG2000 数据和两路音频压缩信号数据）以及上传图像数据 的准备等功能。 同时，在压缩存储板中也包括一个时间同步控制模块（见 2.1.5），主要完成 B(AC)码的接收（解调）、1pps的产生、4路数字相机触发信号的产生、检测 28V 输入信号，并添加时间标记等功能。 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn Sensor Interface SATA盘 CPU 同步并行 接口 SATA Controller ADV212 SDRAM GigE图像 数据发送 板时标 装订 Clk Reset Sensor Interface Sensor Interface Sensor Interface Sensor Interface RGB Interface Audio Interface ADV212 ADV212 ADV212ADV212 ADV212 ADV212 ADV212 ADV212 ADV212ADV212 ADV212 时间同步控制模块 Data Mux JPEG 2000 JPEG 2000 FPGA GigE相机转换板 GigE相机转换板 GigE相机转换板 GigE相机转换板 GigE相机转换板 模拟相机采集板 音频采集压缩板 UART 图 3 压缩存储板组成框图 2.1.4音频采集压缩板 音频采集压缩板输入为单端语音信号，语音频率 200Hz~20KHz，输入阻抗 100kΩ/10 kΩ；语音编码方式为 G.711，利用 FPGA实现该算法，音频采集压缩 板上具有与图像压缩相同的触发信号，以保证语音信息与所记录视频画面在时间 上严格同步。 2.1.5时间同步控制模块 时间同步控制板主要完成 B(AC)码的接收（解调）、1pps 的产生、4 路数字 相机触发信号的产生、检测 28V输入信号，并添加时间标记等功能。 四路触发信号，可以保证 4路数字相机同步采集，且输出的同步触发信号与 IRIG-B 码的秒脉冲对齐，输出为 TTL 电平，5V，上升沿触发，触发频率可调， 触发信号脉宽可调，触发信号于 IRIG-B时间码秒脉冲前沿对齐，随 1PPS秒脉冲 自动复位； 具体组成框图如图 4所示。 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn FPGA A/D采样 CPU B码解调电 路 UART SDRAM 1PPS产生 Clk Reset B(AC)输入 耦合 过零检测 28V信号 检测 触发 信号 产生 触发信号 驱动电路 图 4时间同步控制板组成框图 2.1.6 GigE图像数据发送板 GigE 图像数据发送板与 GigE 相机转换板的功能相似，数据流向正好相反： 从数据压缩模块送出的并行数据信号和同步信号，经该板转换成千兆网输出，送 上位机。同时，上位机的配置参数等可通过该板的串口进行设置。 具体组成框图如图 5所示。 FPGA GMII PHY MAC GigE CPU Sensor interface FLASH EEPROM SDRAM SDRAM UART CLK & RESET 上位机 图 5 GigE图像数据发送板组成框图 2.2 软件设计方案 包括 2个软件系统，即地面预览系统和流文件解析系统。 2.2.1 地面预览系统 地面预览系统包含以下功能： 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 地面预览系统 GigE模拟相机 存储设备 相机搜索 相机参数 浏览 相机参数 设置 图像采集 图像采集 参数修改及 浏览 地面预览软件功能 地面预览软件主要包括对模拟相机的图像实时预览，对 GigE相机的配置和图像预览， 以及对整套设备，主要是诸如存储开始时间、存储方式、存储容量的查看和管理。 地面预览软件通过千兆以太网与设备连接，无需直接连接相机即 可管理整套设备。 2.2.2 流文件解析系统 压缩存储板将 4路 GigE相机的数据、2路 PAL 制式的合成数据、 2 路音频数据以及时间信息等都存储在 SATA2.0 军用级固态硬盘上。 4路 GigE相机的压缩数据保存在 1个文件中，2路 PAL图像保存在另 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 外一个文件中，音频数据保存在第 3个文件中。每幅图像都有时间戳， 音频数据有开始时间和结束时间。音频按照 G.711的压缩。下面 简单介绍下流文件的格式。 每个流文件都按照创建时间命名，命名格式为“用途+年_月_日_ 时_分_秒.dat”。用途分成三种，即 GigE表示 GigE相机的压缩流文 件；PAL表示模拟相机的流文件，Sound表示音频按照 G.711压缩产 生的流文件。 流文件格式： 存储文件前 8K字节是文件头，用来定义图像的格式。文件头采用 XML格式定义，XML 文件的内容如下： //流文件版本 //流文件名称 //流文件目录 流文件序号,在固定帧大小记录时,流文件可能分割,此代表整体部分 中位置 //在循环存储中,代表第一帧的位移 0//0:表示面帧,1:表示线帧 //存储的总帧数 //帧频 //字节排列顺序 //存储开始时间 //存储结束时间 CommonHdFuc//Value:表示每帧或每线附属数据长度,0 没 有.HEAD 里值:表示解析函数名称 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 宽 高 Gray表示图象格式,Gray:灰度图, Bayer:Bayer格式, RGB32,24: 表示彩色图 每象素 BIT值 //图象实际大小 //当 BAYER 格式时,MODAL:表示 BAYER 计算模型 //红色分量增益 //绿色分量增益 蓝色分量增益 //备注 表 1 XML文件头含义说明 属性名称 说明 Dat 流文件版本 Name 流文件名称 Path 流文件目录 DatNum 流文件序号,在固定帧大小记录时,流文件可能分割,此代表整体部分中位 置 Drift 在循环存储中,代表第一帧的位移 Class 0:表示面阵图像,1:表示线阵图像 Count 存储的总帧数 FrameRate 帧频 ByteOrder 字节排列顺序，0：表示低字节在前，1：表示高字节在前，只针对 BitPerPixel 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 大于 8的图像 StartTime 存储开始时间 EndTime 存储结束时间 Frame 有关图像帧的信息 Head 表示每帧或每线开头的附属字节长度。Value为 0表示没有，value大于 0 时 Head里的值表示解析函数的意义 Width 图像宽度 Height 图像高度 PixelFormat 表示图象格式,Gray:灰度图, Bayer:Bayer格式, RGB32,24:表示彩色图 BitPerPixel 每象素 BIT值 RealSize 图象实际大小 Bayer 当 BAYER 格式时,MODAL:表示 BAYER 计算模型 RedGain 红色增益 GreenGain 绿色增益 BlueGain 蓝色增益 RedGamma 红色 Gamma GreenGamma 绿色 Gamma BlueGamma 蓝色 Gamma 在头文件后，则是每帧图像的格式： 属性名称 占用字节数 说明 前缀 2 0xAA55 通道 1 表明是哪个通道产生的图像 绝对时间年 4 时间的 BCD 码 绝对时间月 2 绝对时间日 2 绝对时间时 2 绝对时间分 2 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 绝对时间秒 2 绝对时间毫秒 3 本帧压缩长度 8 压缩后的字节数 压缩图像数据 声音压缩文件格式： 属性名称 占用字节数 说明 前缀 2 0xAA55 通道 1 表明是哪个通道的声音 录音开始绝对时间年 4 时间的 BCD 码 录音开始绝对时间月 2 录音开始绝对时间日 2 录音开始绝对时间时 2 录音开始绝对时间分 2 录音开始绝对时间秒 2 录音开始绝对时间毫 秒 3 录音结束绝对时间年 4 录音结束绝对时间月 2 录音结束绝对时间日 2 录音结束绝对时间时 2 录音结束绝对时间分 2 录音结束绝对时间秒 2 录音结束绝对时间毫 秒 3 压缩语音长度 8 压缩语音数据 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 2.3 相关问题 2.3.1物理尺寸 我们现有的板子，能接入 4路 Camera Link相机，两路 Camera Link 输出，其尺寸如下图： 其尺寸为 230mm*220mm*35mm（长*宽*高），所以经过修改，可以满足 300mm*120mm*200mm的尺寸要求 2.3.2 温度、振动、电磁干扰等环境问题 所有元器件都选用工业级产品，能满足温度要求。同时，在设计 的时候各个板子之间都采用多排接插件连接，能保证整个系统的稳定 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 性。整套系统都用轻铝制外壳密封，并且整个系统没有高频发射装置， 我们也有航空设备电磁干扰的设计经验，在布线、制版等方面能满足 电磁干扰的要求。 2.3.3 如何保证 4路相机同步采集 4 路相机都处于外触发模式。触发信号通过我们的时统板输出， 与 B码的 1PPS对齐，触发精度能到 100ns的精度。 2.3.4 不同压缩比的图像比较 原始图像 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 4:1JPEG2000压缩 8:1 JPEG2000压缩 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 10:1 JPEG2000压缩 20:1 JPEG2000压缩 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 30:1 JPEG2000压缩 50:1 JPEG2000压缩 JPEG2000 不同压缩比下的 PSNR 序号 压缩比 PSNR 1 4:1 38.6 北京汇众思壮图像技术有限公司 北京市朝阳区望京北路 39号院 8号楼 3单元 1A 电话：010-84779455 手机：13126977907 Email：yjj@eimage.com.cn 2 8:1 30.9 3 10:1 29.1 4 20:1 25.7 5 30:1 24.3 6 50:1 23.0 1 功能描述 2 总体方案设计 2.1 硬件设计方案 整个系统组成如图1所示： 系统由五块GigE相机转换（接收）板、一块模拟相机图像采集板、一块音频采集压缩板、一块压缩存储板和一块GigE图像数据发送板组成。 GigE相机转换板将GigE相机的Bayer数据转换成并行数字信号，包括帧同步、行同步和灰度数字信号，输出到压缩存储板。同时，GigE相机转换板还具有一路RS232接口，供压缩存储板控制相机用。 模拟相机图像采集板将一路PAL制式的图像A/D采样后，形成752*582的RGB数据，模拟成相机输出，同样输出帧同步、行同步、以及24位的RGB图像。 压缩存储板可接5块GigE相机转换板、1块模拟相机采集板、一块GigE图像数据发送板。压缩存储板采集相机图像数据，将5块GigE中转换出的图像（不超过4路）合并成一幅大图，然后压缩成JPEG2000；模拟相机的RGB图像经压缩后，和4路GigE相机压缩后的数据及音频采集压缩板的数据一起保存在SATA2.0 固态硬盘中。压缩存储板也包括一个时间同步控制模块，主要完成B(AC)码的接收（解调）、1pps的产生、4路数字相机触发信号的产生、检测28V输入信号，并添加时间标记等功能。 整个设备提供6路千兆网接口，其中5路可接GigE相机，另外一路供上位机预览、设置用。另外，提供一路BNC接头，接入模拟相机。 存储完成后，可将一块固态硬盘拔下来，放在我们提供的读卡器上，用我们提供的解析程序读取压缩后的图像数据和音频数据，完成播放。 整个系统组成框图如下： 压缩存储板是整个设备的中心，它接入5路GigE相机的Bayer原始信号，在FPGA中解析成RGB数据，并压缩成JPEG2000。压缩存储板还要完成诸如时间嵌入、28v信号的时间标记、SATA盘的存储（包括5块GigE相机数据的JPEG2000数据、模拟相机的JPEG2000数据和两路音频压缩信号数据）以及上传图像数据的准备等功能。 同时，在压缩存储板中也包括一个时间同步控制模块（见2.1.5），主要完成B(AC)码的接收（解调）、1pps的产生、4路数字相机触发信号的产生、检测28V输入信号，并添加时间标记等功能。 2.2 软件设计方案 包括2个软件系统，即地面预览系统和流文件解析系统。 2.2.1 地面预览系统 地面预览系统包含以下功能： 地面预览软件功能 地面预览软件主要包括对模拟相机的图像实时预览，对GigE相机的配置和图像预览，以及对整套设备，主要是诸如存储开始时间、存储方式、存储容量的查看和管理。 地面预览软件通过千兆以太网与设备连接，无需直接连接相机即可管理整套设备。 2.2.2 流文件解析系统 压缩存储板将4路GigE相机的数据、2路PAL制式的合成数据、2路音频数据以及时间信息等都存储在SATA2.0 军用级固态硬盘上。4路GigE相机的压缩数据保存在1个文件中，2路PAL图像保存在另外一个文件中，音频数据保存在第3个文件中。每幅图像都有时间戳，音频数据有开始时间和结束时间。音频按照G.711的标准压缩。下面简单介绍下流文件的格式。 每个流文件都按照创建时间命名，命名格式为“用途+年_月_日_时_分_秒.dat”。用途分成三种，即GigE表示GigE相机的压缩流文件；PAL表示模拟相机的流文件，Sound表示音频按照G.711压缩产生的流文件。 流文件格式： 声音压缩文件格式： 2.3 相关问题 2.3.1物理尺寸 我们现有的板子，能接入4路Camera Link相机，两路Camera Link输出，其尺寸如下图： / 其尺寸为230mm*220mm*35mm（长*宽*高），所以经过修改，可以满足300mm*120mm*200mm的尺寸要求 2.3.2 温度、振动、电磁干扰等环境问题 所有元器件都选用工业级产品，能满足温度要求。同时，在设计的时候各个板子之间都采用多排接插件连接，能保证整个系统的稳定性。整套系统都用轻铝制外壳密封，并且整个系统没有高频发射装置，我们也有航空设备电磁干扰的设计经验，在布线、制版等方面能满足电磁干扰的要求。 2.3.3 如何保证4路相机同步采集 4路相机都处于外触发模式。触发信号通过我们的时统板输出，与B码的1PPS对齐，触发精度能到100ns的精度。 2.3.4 不同压缩比的图像比较 / 原始图像 / 4:1JPEG2000压缩 / 8:1 JPEG2000压缩 / 10:1 JPEG2000压缩 / 20:1 JPEG2000压缩 / 30:1 JPEG2000压缩 / 50:1 JPEG2000压缩 JPEG2000 不同压缩比下的PSNR