200万像素数字摄像机设计及关键技术研究

第 36 卷第 5 期 光电工程 Vol.36, No.5 2009 年 5 月 Opto-Electronic Engineering May, 2009 文章编号：1003-501X(2009)05-0117-05 200 万像素数字摄像机及关键技术研究 莫思特，吴志红 ( 四川大学 电气信息学院，成都 610065 ) 摘要：公共安全、工业控制、科学研究等领域对摄像机的分辨力和帧率提出了越来越高的要求。针对这一应用需 求，本文提出了一种 200 万像素、每秒 15 帧高清高速数字摄像机的，给出了设计中关键技术的解决方法。 该设计主要由 ICX274、AD9923A、XC3S1200E、TE3310RPF 和 AT91RM9200 等组成。AD9923A 为 ICX274 提供 垂直和水平驱动时序，放大 ICX274 输出的模拟视频信号，完成模拟视频信号的 AD 变换。XC3S1200E 将 AD9923A 输出的数字Bayer信号转换为YUV格式数字信号送给TE3310RPF，并由TE3310RPF实现 JPEG压缩。AT91RM9200 通过网络将图像压缩数据传送到客户端。解决的关键技术包括 CCD 垂直、水平时序的产生，CCD 信号相关双采 样的控制，Bayer 信号到 YUV 信号的转换，数据压缩以及压缩数据的采集与网络传输。实验结果表明，该设计方 案每秒可以采集、压缩、传输 200 万像素图像 15 帧，图像质量较好。 关键词：摄像机；高清；CCD；ICX274；AD9923A 中图分类号：TP202, TN386.5 文献标志码：A Design of 2.0 Mega Pixels Digital Video Camera and Key Technology MO Si-te，WU Zhi-hong ( School of Electrical Engineering and Information, Sichuan University, Chengdu 610065, China ) Abstract: A design method for high-resolution and high-speed digital video camera, which supported 2.0Mega Pixels and 15 frames per second, was presented. How to solve some problems of key technology on the video camera was introduced. ICX274 was used as CCD sensor, AD9923A was used as the analog front end and other chips included XC3S1200E and TE3310RPF. The AD9923A converted CCD analog signal to digital signal. The digital signal was sent to XC3S1200E which converted Bayer signals to YUV signals. The YUV signals were inputted to TE3310RPF to generate JPEG data. AT91RM9200 sent the JPEG data to network. Many key technologies which included CCD timing control, Bayer signal to YUV signal conversion, TE3310RPF control, and data transmission in network were involved in this video camera design. How to solve these problems were also introduced. The testing results show that the design method can collect, compress and transmit 15 frame 2.0Mega pixels image per second. Key words: video camera; high-resolution; charge coupled devices; ICX205; AD9923A 0 引 言 随着 CCD 制造、视频压缩、网络传输、数据存储与处理等技术的发展，数字视频采集系统已广泛应 用于公共安全、工业控制、科学研究等领域。由于集成电路设计技术以及制造工艺的不断进步，各种应用 对数字视频图像质量提出了越来越高的要求：CIF 格式的图像已经逐步淘汰，D1 画幅的视频信号也逐渐不 能满足需求，很多应用场合需要 200 万像素甚至更高像素的数字视频信号。 收稿日期：2009-01-11；收到修改稿日期：2009-02-22 基金项目：国家自然科学基金重点项目(60736046)；国家 863 高技术研究发展项目(2006AA12A104)基金资助项目 作者简介：莫思特(1969-)，男(汉族)，湖南益阳人。讲师，硕士，主要研究工作是高清数字网络摄像机以及精密仪器设计。 E-mail: mosite@scu.edu.cn。 光电工程 2009 年 5 月 118 针对这一新的应用需求，本文提出了一种 200 万像素高清数字摄像机设计方案。总结了设计中遇到的 关键问题，提出了关键问题的解决办法，给出了本项研究的测试结果。 1 硬件电路设计方案 硬件电路由 CCD 控制电路、CCD 时序控制与模数转换电路、FPGA 控制电路、JPEG 图像压缩控制电 路、嵌入式 ARM 控制电路、电源控制电路六个电路模块组成，各电路模块组成结构如图 1 所示。 其中，CCD 控制电路采用 SONY 公司设计生产的 ICX274，时序与模数转换电路采用 ANALOG DEVICES 公司设计生产的 AD9923A，FPGA 采用 Xilinx 公司设计生产的 XC3S1200E，图像压缩芯片采用 TOKYO 公司设计生产的 TE3310RPF，ARM 主芯片采用 ATMEL 公司设计生产的 AT91RM9200。 1.1 CCD 控制电路 CCD 控制电路的主要作用是将像素的光信号转换为电信号。CCD 控制电路的主芯片为 SONY 公司的 ICX274。ICX274 的关键参数如下[1]：水平驱动频率：36 MHz；感光区尺寸：1/1.8 英寸；有效像素：1 628(H) ×1 236(V)；全像素输出帧率：15 帧/s。CCD 控制电路原理图如图 2。 1.2 时序与模数转换控制电路 时序与模数转换电路主芯片为 ANALOG DEVICES 公司生产的 AD9923A。AD9923A 其主要性能如下 [2]：12 位 36 MHz 模数转换器；集成时序控制器；内含 6 dB 到 42 dB 可变增益放大器；内含相关双采样控 制电路。AD9923A 的控制电路原理图如图 3 所示。ARM 通过串行接口控制 AD9923A 输出相关时序信号。 AD9923 输出控制时序到 ICX274，控制 CCD 的电荷输出，并将 CCD 送来的模拟信号经模数转换后得到的 数字信号送给 FPGA。 1.3 其他硬件电路 FPGA 的主要功能是接收模数转换器的 BAYER 格式数字视频信号，将 Bayer 视频信号转换生成 RGB 视频信号，再将 RGB 视频信号转换为 YUV 视频信号，YUV 视频信号输送到图像压缩电路。FPGA 选用 Xilinx 公司设计生产的 XC3S1200E[3]。压缩单元采用 TOKYO 公司的高速 JPEG 图像压缩集成电路 TE3310RPF[4]。TE3310RPF 接收由 FPGA 传来的 YUV 数字视频信号，经过芯片的压缩处理，将 JPEG 压 图 1 系统结构图 Fig.1 Diagram of system CCD Transfer clock Transfer clock FPGA JPEG CCD digital signals YUV data Power circuit ARM circuit SPI Internet JPEG data Analog signal 图 2 CCD 控制电路原理图 Fig.2 Schematic diagram of CCD control circuit 图 3 AD9923 的控制电路原理图 Fig.3 Schematic diagram of AD9923 control circuit 第 36 卷第 5 期 莫思特 等：200 万像素数字摄像机设计及关键技术研究 119 缩数据传送给 ARM 控制电路。ARM 控制电路通过串行接口控制 AD9923 输出 CCD 的时序控制信号、控 制 FPGA 的算法运算的相关参数，通过并行总线控制 TE3310RPF 压缩参数、并接收 TE3310RPF 压缩后的 JPEG 数据，然后将 JPEG 数据通过以太网传输给客户端。ARM 主芯片采用 ATMEL 生产的 AT91RM9200 [5]。 2 关键技术研究 2.1 CCD 时序控制 在电子曝光时序控制下，CCD 感光器件将感光电荷传送到电荷存储单元，电荷存储单元存储的电荷在 垂直时序控制下，依次一行一行往下传输，当传输到最低层时，由水平控制时序将电荷逐点传出，并转换 成电压输出。CCD 的时序控制包括电子曝光时序控制，垂直时序控制，水平时序控制[6]。 CCD 时序控制由 ARM 控制 AD9923 实现，ARM 通过串行接口控制 AD9923 的相关寄存器，再由 AD9923 输出相应的时序控制 CCD 传感器感光的电荷输出。 AD9923 与电子曝光时序相关的控制寄存器有：READOUTNUM、EXPOSURENUM、VDHDOFF、 SUBSUPPRESS 、 SUBCKNUM 、 SUBCKMASK 、 SUBCKPOL 、 SUBCK1TOG1 、 SUBCK1TOG2 、 SUBCK2TOG1 、 SUBCK2TOG2 、 VSUB0_MODE 、 VSUB0_KEEPON 、 VSUB0_ON 、 VSUB0POL 、 VSUB1_MODE、VSUB1_KEEPON、VSUB1_ON、VSUB1POL、SHUT0_ON。寄存器地址为：0X62 至 0X6D。 根据 DATASHEET 的相关要求，控制这些寄存器的值，可以控制电子曝光时间。 AD9923 与水平时序相关的控制寄存器有：H1POSLOC、H1NEGLOC、H1H2POL、H3POSLOC、 H3NEGLOC、H3H4POL、HLPOSLOC、HLNEGLOC、HLPOL 、H1DRV、H2DRV、H3DRV、H4DRV、 HLDRV，寄存器地址为：0x31、0x31、0x33、0x36。H1POSLOC、H3POSLOC、HLPOSLOC 定义了相关 时序的上沿时刻，H1NEGLOC、H3NEGLOC、HLNEGLOC 定义了相关时序的下沿时刻，H1DRV、H2DRV、 H3DRV、H4DRV、HLDRV 定义了相关时序的驱动能力。 AD9923 与垂直时序相关的控制寄存器有：模式寄存器组，序列寄存器组，场寄存器组。模式寄存器 组每组 40 个寄存器，序列寄存器组每组 20 个寄存器，场寄存器组每组 12 个寄存器。根据不同的 CCD 垂 直时序控制需求，选择不同数目的模式寄存器组，序列寄存器组，场寄存器组，控制各相关寄存器值，完 成垂直时序控制。 2.2 相关双采样时序控制 理想 CCD 模拟输出如图 4，图中，在 1 时刻，电荷复位信号清除输出电荷存储器中的电荷，在 2 时刻， 电荷存储器电荷清空，输出电压为 CCD 复位噪声电压，在 3 时刻，输出电荷存储器中的电荷转化为电压 输出，电荷越多，电压越低，3 时刻的输出电压为感光电压与复位噪声电压之和。因此传感器感光电荷量 与图中 2、3 两点采样的电位的差值成线性的关系，读出 2、3 两点的差值∆v，就是读取了像素的感光值[7-8]。 读取∆v 的值的有效方法之一是采用相关双采样技术，相关双采样电路技术的基本原理如图 5 所示。图 4 中时刻 2 对应图 5 中的电位 SHP，图 4 中时刻 3 对应图 5 中的电位 SHD。SHP 为复位噪声电压，SHD 为 感光电压与复位噪声电压之和。先在时刻 2 采样 SHP，然后在时刻 3 采样 SHD。用 SHP 和 SHD 相减，就 得到了感光电压值。 AD9923A 嵌入了相关双采样电路，相关双采样的主要控制参数为 SHP、SHD 的采样时刻，与之相关 图 4 理想 CCD 模拟视频信号输出 Fig.4 Ideal CCD analog video signal output 图 5 相关双采样基本原理 Fig.5 Basic principles of correlated double sampling ∆v 2 11 2 3 One pixel period + - Ref+ noise Video+ noise SHD SHP CCD digital signals SHP SHD ∆v Vout=Ref-Video 光电工程 2009 年 5 月 120 的控制寄存器为 SHPLOC 和 SHDLOC，寄存器地址为 0x37。AD9923A 将一个时钟周期等分为 48 时刻， 寄存器 SHPLOC 和 SHDLOC 的值对应着相应的采样时刻。用示波器输出 CCD 的模拟信号，根据信号波形 就可设定 SHPLOC 和 SHDLOC 的值，从而设置了 SHP 和 SHD 的采样点。 2.3 Bayer 信号转换为 RGB 信号 ICX274 为 Bayer 滤色器的彩色面阵 CCD，其光敏像素单 元阵列的 Bayer 排列方式如图 6：Bayer 信号到 RGB 信号的转 换由 FPGA 实现。根据图 6 的排列方式，以图 6 中 6、7、10、 11 点为例，设图 6 中 6、7、10、11 点的 RGB 值分别为 R6、 G6、B6、R7、G7、B7、R10、G10、B10、R11、G11、B11，用 V1、 V2、V3、…、V16 表示各点经相关双采样得到的电压值，各点 Bayer 信号到 RGB 信号的算法为 R6=(V5+V7)/2；R7=V7；R10=(V5+V7+V13+V15)/4；R11=(V7+V15)/2； G6=V6；G7=(V3+V6+V8+V11)/4；G10=(V6+V9+V11+V14)/4；G11=V11； B6=(V2+V10)/2；B7=(V2+V4+V10+V12)/4；B10=V10；B11=(V10+V12)/2。 2.4 RGB 信号转换为 YUV 信号 JPEG 压缩芯片 TE3310RPF 的输入数据格式可以为 ITU-RBT.656 或 YUV 格式，本设计中，TE3310RPF 的输入数据格式采用 YUV 格式。RGB 转换 YUV 的计算仍然由 FPGA 完成。设 R、G、B、Y、Cr、Cb 为 转换点的相应值，精度为８位整数，由 R、G、B 信号值计算 Y、Cr、Cb 信号值的算法为 128)(2577.0 ,128)(5729.0 ,114.0587.0299.0 +−= +−= ++= YBCb YRCr BGRY 2.5 TE3310RPF 控制与数据输出 对 TE3310RPF 的控制主要由 AT91RM9200 通过并行接口初始化 TE3310RPF 控制寄存器的值，然后从 TE3310RPF 读取 JPEG 压缩数据。需要设置的主要的寄存器的值为：MODE=0x120b；IFORMAT1=0b011、 IFORMAT2=0b001：设置输入数据格式为 16 bit YCbCr 逐行输入；JFORMAT1=0b00、JFORMAT2=0b0：设 置 JPEG 压缩格式为 4:2:2，YCbCr 帧压输；JOUTFORMAT=0b01, HMODE=0b0：设置 TE3310RPF 与 AT91RM9200 之间的接口为 16 位接口，采用软件 DMA 方式传输；CNTL=0x0008：设置场信号输入无效， 输入 Cb、Cr 不做变换，Y、C 的取值范围为 1∼244，扩展为 0∼255；HOFFSET=0x0000：输入图像不做水 平偏移；SPL=0x0660：设置图像输入宽度为 1 632；VOFFSET=0x0000：输入图像不做垂直偏移； LPF=0x04D0，设置图像输入高度为 1 232。 AT91RM9200 读取 TE3310RPF 压缩的 JPEG 数据时，先通过状态寄存器判断 TE3310RPF 的输出 FIFO 是否为非空，如果非空，则读取编码计数寄存器的值，读出 FIFO 的数据长度，根据 FIFO 的数据长度读出 JPEG 数据。 2.6 AT91RM9200 编程 AT91RM9200 主要完成 4 项工作，初始化 AD9923A 时序控制寄存器、初始化 TE3310RPF 控制寄存器、 接收 TE3310RPF 的 JPEG 压缩数据、将 JPEG 压缩数据通过网络传输给客户端。 AT91RM9200 运行嵌入式 Linux 操作系统，其程序主要由设备驱动程序和应用程序两部分组成。设备 驱动程序直接控制 TE3310RPF 的初始化并读出 JPEG 数据。应用程序将读出的 JPEG 数据通过网络传输到 客户端。设备驱动程序中，OPEN 入口主要完成两项任务：初始化 TE3310RPF 的寄存器，并为读取 JPEG 压缩数据分配内存。应用程序工作流程依次为：打开 TE3310RPF 设备，启动 TE3310RPF 压缩程序，读取 TE3310RPF 的压缩数据，通过网络将数据传给客户端。网络传输通过 SOCKET 通信接口实现，ARM 应用 程序通过 SOCKET 通信接口接收客户端程序的控制命令，并根据控制命令发送 JPEG 数据。 Gb 1 B 2 Gb 3 B 4 R 5 Gr 6 R 7 Gr 8 Gb 9 B 10 Gb 11 B 12 R 13 Gr 14 R 15 Gr 16 图 6 Bayer 排列方式 Fig.6 Bayer arrangement 第 36 卷第 5 期 莫思特 等：200 万像素数字摄像机设计及关键技术研究 121 3 设计效果测试 将设计的摄像机和客户端通过局域网连接，就搭建了测试环境。测试结果表明，在每帧 300 k 的码流 下，网络数据传输可以达到每秒 20 帧，超过 CCD 每秒 15 帧的要求。采用 X-rite 公司生产的标准多光源对 色灯箱 JudgeII 白光为光源，以 24 色色彩色校卡和 ISO12233 标准分辨率测试卡为拍摄对象，利用图像处 理软件 Imatest V3.1 Master 对 24 色色彩色校卡进行噪声分析，对 ISO12233 标准分辨力测试卡进行锐度分 析。噪声分析结果如图 7，锐度分析结果如图 8。 4 结 论 通过测试可见，设计方案合理，提出的关键问题解决方法正确。图像分辨力达到 200 万像素，每秒可 以输出 15 帧。用 Imatest 软件对图像测试表明图像质量较好。要进一步提高图像质量，还需仔细调整相关 双采样的采样时刻，加入白平衡算法，认真研究曝光时间与模拟前端放大器的各级放大倍数与成像质量的 关系。如果要求体积小，则可以选择更高性能的 FPGA，压缩算法和网络传输都可以由 FPGA 实现。 参考文献： [1] Diagona8.923mm (Type 1/1.8) Progressive Scan CCD Image Sensor with Square Pixel for Color Cameras：ICX274 [Z]. SONY corpornation. [2] CCD Signal Processor with V-Driver and Precision Timing Generator：AD9923A [Z]. Analog Devices，Inc，2006. [3] Spartan-3E FPGA Family：Complete Data Sheet[Z]. Xilinx，Inc，2007. [4] TE3310RPF High Speed JPEG Encoder[Z]. Tokyo Electron Device Limited，2007. [5] ARM920T-based Microcontroller：AT91RM9200 [EB/OL] //http：www.atmel.com/literature. [6] Audrey J Ewin，Kenneth V Reed. A Programmable CCD Driver Circuit for Multiphase CCD Operation [J]. IEEE Transactions on Nuclear Science (S0018-9499)，1989，36(1)：891-897. [7] 张大海，姚大志，刘伟，等. 高速科学 CCD CAMERA 系统设计 [J]. 光电工程，2005，32(1l)：87-92. ZHANG Da-hai，YAO Da-zhi，LIU Wei， et al. System Design of High-speed Science-grade CCD Camera [J]. Opto—Electronic Engineering，2005，32(11)：87-92. [8] Jaroslav Hynecek. Theoretical Analysis and Optimization of CDS Signal Processing Method for CCD Image Sensors [J]. IEEE Transactions on Electron Devices(S0018-9383)，1992，39(11)：2497-2507. -1.5 -1.0 -0.5 0 Log exposure(target density) R M S no is e( 1- st op ) 0 0.02 0.04 0.06 0.08 -1.0 -0.8 -0.6 -0.4 -0.2 0 Lo g pi xe l l ev el /2 55 R ow 3 n oi se (% o f w hi te b la ck ) N oi se p ow er 0 0.5 1.0 Frequency,cycles/pixel 0 0.1 0.2 0.3 0.4 0.5 0.2 0.6 1.0 1.4 B G R Y M C Ed ge p ro fil e/ lin ea r -6 -4 0 4 6 SF R (M TF ) 0 0.4 1.0 0.2 0.6 0.8 Line width per picture height 0 1 000 2 000 Pixels (horizontal) 图 8 锐度分析 Fig.8 Sharpness 图 7 噪声分析 Fig.7 Noise detail