大学信息技术基础(第二版)第4章

第4章多媒体技术基础 主要内容： §4.1多媒体的概念 §4.2光盘存储系统 §4.3多媒体音频信号处理 §4.4多媒体图像信息处理 *§4.5计算机图形处理技术简介 §4.6多媒体视频信息处理 本章小结 思考与练习 4.1.1媒体的分类 在计算机领域中媒体有两种含义： 一种是指用以存储信息的实体（媒质）；另一种是指信息的载体。多媒体计算机技术中的媒体是指后者。 媒体可分为以下五种，如图4-1所示。 (1)感觉媒体(perception) (2)示媒体(presentation) (3)显示媒体(display) (4)存储媒体(storage) (5)传输媒体(transmission)§4.1多媒体的概念§4.1多媒体的概念图4-1国际将媒体分为5种类型 各种媒体之间的关系如图4-2所示。§4.1多媒体的概念图4-2各种媒体之间的关系 4.1.2多媒体与多媒体技术 1.多媒体的定义 通常所指的多媒体就是各种感觉媒体的组合，也就是声音、图像、图形、动画、文字、数据、文件等各种媒体的组合。 定义1：所谓多媒体技术就是计算机交互式综合处理多种媒体信息——文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。 定义2：“所谓多媒体就是在数值、文字、图形等由计算机处理的信息中，使静止图像、语音、影像等时间序列信息相互关联，同步处理的技术。”§4.1多媒体的概念 2.多媒体计算机的硬件系统 多媒体计算机硬件系统由多媒体计算机主机、多媒体接口卡、多媒体外部设备、光盘存储器、网络接口卡等组成。一个常见的多媒体硬件系统如图4-4所示。§4.1多媒体的概念图4-4多媒体计算机硬件系统 光盘存储系统由光盘和光盘驱动器组成。 光盘存储系统具有一切存储介质的优点，如大容量、耐用、易保存、标准化等。 4.2.1光盘及其特点 CD意为高密盘，称之为光盘，因为它是通过光学方式来记录和读取二进制信息的。 光盘在存储多媒体信息方面具有以下主要的特点。 1.记录密度高 2.存储容量大 3.采用非接触方式读/写信息§4.2光盘存储系统 4.信息保存时间长 5.多种媒体融合 6.价格低廉 4.2.2光盘的标准与类型§4.2光盘存储系统 按光盘的读写性能来讲，可分为三种类型： 1.只读型光盘存储器 只读光盘中的数据是用压模或化学刻写方法制成的，用户只能读取上面的数据，而不能写入或修改光盘中的数据。 2.一次可写光盘存储器 一次性可写光盘的每一个记忆单元只可以写入一次，不可抹去。 3.多次可擦写光盘存储器 多次可擦写光盘具有磁盘一样的可擦写性，允许用户存储、移动、修改光盘上的数据，适合作为计算机的新型标准外存设备。§4.2光盘存储系统 4.2.3光盘系统记录与读取信息的原理 光盘系统是由光盘驱动器和光盘盘片组成。 光盘系统和磁盘系统的存储原理不同。 以CD-ROM为例，其物理结构如图4-5所示。§4.2光盘存储系统图4-5CD-ROM的剖面结构图4-6激光探测器根据光强度的变化(凸凹的变化)来分辨“0”或“1” CD-ROM只读光盘是利用在盘上压制凹坑的机械办法，利用凹坑(Pit)和平面(Land)部分来记录“0”和“1”。 光盘的读取过程是基于物理学的“光的反射”原理。 CD-R光盘增加了一层有机染料作为记录层。 CD-RW记录原理为在光盘的记录层镀上一层结晶层，这个结晶层的特色是能呈现出结晶与非结晶的状态，借助于激光的照射，可在这两种状态之间互换，而这两种状态也对光的反射不同，产生的0与1的信号，经过解码器分析后，获得所需的数据。§4.2光盘存储系统 4.3.1音频信号的形式 音频(Audio)信号可分为两类：语音信号和非语音信号。 根据物理学原理，声音是一种在时间和幅度上都是连续的波形，是一种模拟信号。模拟音频信号有两个重要参数：频率和幅度。 人们在日常说话时的语音信号频率范围在300～3000Hz之间。频率范围为20～20kHz的信号称为音频(audio)。 信号的幅度是从信号的基线到当前波峰的距离。 周期是指信号在两个峰点或谷底之间的相对时间。周期和频率之间的关系是互为倒数。(如图4-7所示)§4.3多媒体音频信号处理§4.3多媒体音频信号处理图4-7声音的幅度和周期 4.3.2音频的数字化过程 模拟音频信号的数字化过程需要三个步骤：采样、量化和编码。 1.声音的采样 声音的采样就是按一定的时间间隔将声音波形在时间轴（即横轴）上进行分割，把时间和幅度上都是连续的模拟信号转化成时间上离散、幅度连续的信号（图4-9a）。 采样频率越高，即采样的间隔时间越短，则在单位时间内计算机得到的声音样本数据就越多，对声音波形的表示越精确，声音的保真度也越好，但所要求的存储空间也越大。§4.3多媒体音频信号处理 2.量化 我们把对声波波形幅度的数字化表示称之为“量化”，如图4-9b所示。 量化把采样后在幅度轴上连续取值（模拟量）的每一个样本转换为离散值表示。§4.3多媒体音频信号处理图4-9声音的采样和量化示意图 3.编码 编码就是按照一定的格式把经过采样和量化后得到的离散数据记录下来，并在有用的数据中加入一些用于纠错、同步和控制的数据。 4.数字化音频文件的存储容量计算 采样频率、量化位数、声道数的值越大，形成的数字音频文件也就越大。数字音频文件的存储量以字节为单位，模拟波形声音被数字化后音频文件的存储量为： 存储量（字节）=采样频率（Hz）×量化位数/8×声道数×时间（秒）§4.3多媒体音频信号处理 4.3.3音频卡 音频卡又称为声卡，是计算机进行声音处理的适配器，它用于处理音频信号。 声卡与外部音频设备的连接如图4-10所示。§4.3多媒体音频信号处理图4-10声卡与外部音频设备的连接 4.3.4数字音频的文件格式 所谓格式，可以理解为数码信息的组织方式。一段模拟音频经过数字化处理后，所产生的数码信息可以用各种编码格式编排，而形成一个个音频格式文件。下面简要介绍目前较常用的声音文件格式(图4-11)。§4.3多媒体音频信号处理图4-11数字音频的常用文件格式 1.WAV格式 2.CDDA格式 3.MPEG音频文件——MP3 MPEG音频文件的压缩是一种有损压缩，根据压缩质量和编码复杂程度的不同可分为三层，分别对应MP1、MP2和MP3这三种声音文件。 4.MIDI格式 5.VOC文件 6.其他格式§4.3多媒体音频信号处理 4.4.1计算机图像处理的概念 1.图像的数字化 2.图像变换 3.图像编码压缩 4.图像增强和重构 目的是为了提高图像的质量。 5.图像分割(ImageSegmentation) 6.图像识别(ImageRecognition)§4.4多媒体图像信息处理§4.4多媒体图像信息处理 4.4.2图像的数字化过程 1.图像的采样 数字化图像的形成是计算机使用相应的软硬件技术把许多像素点的特征数据组织成行列，整齐地排列在一个矩形区域内，形成计算机可以识别的图像。 图像采样就是将二维空间上连续的图像用许多等距的水平线与竖直线分割成网状的过程（如图4-13所示）。 被分割的图像若水平方向有M个间隔，垂直方向上有N个间隔，则一幅图像画面就被表示成M×N个离散像素点构成的集合，M×N表示图像的分辨率。 可以将连续变化的二维图像用f(x,y）函数离散值的形式表示出来。§4.4多媒体图像信息处理 在进行采样时，采样点的间隔的选取是一个重要的问题。它决定了采样后的图像是否能真实地反映原图像的程度。 图4-14给出在不同采样频率下获得不同的图像效果。图4-13采样是对图像在水平方向和垂直方向上分割成网状结构§4.4多媒体图像信息处理图4-14不同采样频率获得不同的图像效果 2.图像的量化 图像量化实际就是将图像采样后的样本值的范围分为有限多个段，把落入某段中的所有样本值用同一值表示，是用有限的离散数值量来代替无限的连续模拟量的一种映射操作。 图像可表示的量化级数（颜色数或灰度值）就为2的幂次方，即28、216位、224种颜色。量化字长越大，所得到的量化级数也就越多，则越能真实地反映原有图像的颜色。 图像文件的大小与图像的分辨率和图像颜色深度有关。 一幅未经压缩的图像文件的存储容量可以按照下面的公式进行估算： 图像存储容量（字节）=分辨率×颜色深度/8§4.4多媒体图像信息处理§4.4多媒体图像信息处理 4.4.3图像的压缩与编码 1.图像信息为什么能压缩 从信息论的角度来看，压缩就是去掉信息中的冗余，即保留不确定的信息，去除确定的信息(可推知的)，也就是用一种更接近信息本质的描述来代替原有冗余的描述。 连续多帧画面在很大程度上是相似的，而这些相似的信息(或称作冗余信息)为数据的压缩提供了基础。 人的视觉和听觉对某些信号(如颜色，声音)不那么敏感的生理特性，至使信息被压缩之后还不知不觉，也不至对压缩后的信息产生误解。 2.数据压缩与编码分类 （1）数据压缩：分为有损压缩和无损压缩两类 无损压缩算法是为保留原始多媒体对象而设计的。 当图像的冗余度很少时，用无损压缩技术不能得到可接受的结果，这时就要采用有损压缩。 （2）经典压缩编码：通常有预测编码、变换编码和统计编码三种类型 预测编码根据离散信号之间存在着一定的相关性，利用前面的一个或多个信号对下一信号进行预测，然后对实际值和预测值的差进行编码。 变换编码的基本方法是将数字图像分成一定大小的子图像块，用某种变换对子像块进行变换，得到变换域中的系数矩阵，然后选用其中的主要系数进行量化和编码。 统计编码就是根据消息出现概率的分布特性而进行的压缩编码。§4.4多媒体图像信息处理§4.4多媒体图像信息处理 4.4.4图像文件格式 1.BMP BMP文件是一种与设备无关的图像文件，它是Windows软件推荐使用的一种格式。 2.JPEG JPEG是按图像专家联合组制订的压缩标准DCT来压缩储存的图像文件格式，JPEG使用一种有损压缩算法，无损压缩算法能在解压后准确再现压缩前的图像，而有损压缩则牺牲了一部分的图像数据来达到较高的压缩率。 3.GIF GIF是由CompuServe公司为了制定彩色图像传输而开发的图像格式文件。 4.PSD格式 PSD是著名的Adobe公司的图像处理软件Photoshop的专用格式。 5.TIFF格式 TIFF称为标记图像文件格式。它是Alaus和Microsoft公司为扫描仪和桌面出版系统研制开发的较为通用的图像文件格式。 6.PNG格式 PNG是一种新兴的网络图像格式。 7.其他格式§4.4多媒体图像信息处理 §4.6多媒体视频信息处理 4.6.1视频的定义 视频（video）就其本质而言，实际上就是其内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫做运动图像或活动图像。 视频信号具有以下特点： 图像内容随时间而变化 伴随有与画面动作同步的声音(伴音)§4.6多媒体视频信息处理 4.6.2视频的分类 按照处理方式的不同，视频分为： 1.模拟视频（AnalogVideo） 模拟视频是一种用于传输图像和声音的并且随时间连续变化的电信号。 2.数字视频（DigitalVideo-DV） 要使计算机能够对视频进行处理，必须把视频源转换成计算机要求的数字视频形式并存放在磁盘上。 4.6.3电视信号制式 1.NTSC制 NTSC是美国国家电视系统委员会在1953年制定的一种兼容的彩色电视制式，是目前常用的视频标准，在美国、日本和其他国家广为使用。 2.PAL制 PAL是联邦德国1962年制定的一种兼容电视制式。 3.SECAM SECAM称为顺序传送彩色与存储，是用于法国、俄罗斯及几个东欧国家的彩色电视制式。§4.6多媒体视频信息处理 4.6.4YUV与RGB彩色模型 1.YUV模型 在PAL彩色电视制式中采用YUV模型来表示彩色图像。其中Y表示亮度，U，V用来表示色差，是构成彩色的两个分量（如图4-20所示）。§4.6多媒体视频信息处理图4-20PAL彩色电视制式中采用YUV模型来表示彩色图像 2.RGB模型 RGB分别代表红（red）、绿(green)、蓝（blue）三种基本颜色。§4.6多媒体视频信息处理A-阴极B-导电涂层C-阴极D-荧光屏E-电子束F-荫罩板图4-21CRT显示器采用RGB彩色模型 3.YUV与RGB彩色空间变换 由于所有的CRT显示器都采用RGB值来驱动的，这就要求在显示每个像素之前，需要把YUV彩色分量值转换成RGB值。 在考虑人的视觉系统和阴极射线管(CRT)的非线性特性之后，RGB和YUV的对应关系可以近似地用下面的方程式表示： Y=0.299R+0.587G+0.114B U=-0.169R-0.331G+0.5B V=0.500R-0.419G-0.081B§4.6多媒体视频信息处理 4.6.5视频的数字化过程 视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号。 1.视频信号的采样 根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时对信号的色差分量的采样率低于对亮度分量的采样率。 根据实验，人眼对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。 2.量化§4.6多媒体视频信息处理 量化的过程是不可逆的，这是因为量化本身给信号带来的损伤是不可弥补的。 降低量化误差的方法最直接的就是增加量化级数减小最小量化间隔，但由此带来码率的增加从而要求更大的处理带宽。 3.视频信号的压缩与编码 抽样、量化后的信号转换成数字符号才能进行传输，这一过程称为编码。 在通信理论中，编码分为信源编码和信道编码两大类。 视频编码技术主要包括MPEG与H.261标准，编码技术主要分成帧内编码和帧间编码。§4.6多媒体视频信息处理 4.6.6视频卡 视频卡是一种对模拟视频进行捕捉并转换为数字视频的部件，是多媒体视频信号处理平台，它的主要功能是对实时视频图像作数字化、冻结、存储、输出处理。 视频采集卡能够通过视频接口，连接摄像机、影碟机、TV等设备，以便获取、处理和表现各种动画和数字化视频媒体。视频卡为多媒体视频处理提供了强有力的硬件支持。§4.6多媒体视频信息处理§4.6多媒体视频信息处理图4-23视频采集卡及其连接 4.6.7常见的视频文件格式 1.本地影像视频 (1)AVI格式 AVI即音频视频交错格式。 AVI格式允许视频和音频交错在一起同步播放，其优点是图像质量好，可以跨多个平台使用，缺点是压缩标准不统一，不具有兼容性。 (2)MOV格式 默认的播放器是Apple公司的QuickTimePlayer。它具有较高的压缩比率和较完美的视频清晰度等特点，但是其最大的特点还是跨平台性。§4.6多媒体视频信息处理 (3)MPEG/MPG/DAT格式 MPEG即动态图像专家组格式，是运动图像压缩算法的国际标准，现已被几乎所有的计算机平台共同支持。 MPEG采用有损压缩方法减少运动图像中的冗余信息，从而达到高压缩比（最高可达200∶1）的目的，同时图像和音响的质量也非常好，兼容性相当好。 2.网络影像视频 (1)ASF格式 它使用了MPEG-4的压缩算法，所以压缩率和图像的质量都很不错。 (2)WMV格式§4.6多媒体视频信息处理 WMV也是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。 (3)RM格式 对符合RealMedia规范的网络音频/视频资源进行实况转播，并且RealMedia可以根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。§4.6多媒体视频信息处理 算法是求解问题的方法和步骤。构成算法有两个要素，即基本操作和控制结构。描述算法有流程图，N-S图，伪码和描述算法的各种语言。算法具有输入性、输出性、有穷性、确定性和可行性五个特性；设计算法时要求考虑算法的正确性，可读性，健壮性和高效性；评价算法时则是主要从时间和空间两个方面考虑。算法要在计算机上使用，就得转化成为某种语言描述的程序。高级程序设计语言都提供有描述算法控制结构的三种基本结构和完成操作的各种语句，同时也提供有各种数据类型供程序设计人员组织程序中的数据。然而任何语言所提供的数据类型都是有限的，在实际问题求解中远远不能满足需要。数据结构主要研究的是如何合理的组织程序数据，它主要研究数据的逻辑结构、存储结构和在存储结构基础上的运算及实现。本章小结 数据结构分为线性数据结构和非线性数据结构两大类，线性结构中有线性表、栈、队列、串和数组等，非线性结构主要有树、二叉树、图和网络。每种结构都有着自己的特点和相应的应用场合，要在解决实际问题时具体选用，并利用语言提供的一些设施在程序中实现之。程序设计就是如何把算法和数据结构融为一体，用最少的代价开发出最好的程序的技术和方法学。程序设计方法有三个原则，即抽象原则、枚举原则和归纳原则。常用的程序设计方法有结构化程序设计、软件工程方法、面对对象技术，多媒体技术和可视化编程等十多种。设计完成的程序称之为源程序，需要编辑和编译（或解释）才能成为计算机可以执行的目标程序。在编辑编译的过程中，需要调试程序和测试程序，以发现程序中的错误并纠正它。本章小结 一、思考与练习 1.什么是媒体？媒体是如何分类的？ 2.什么是多媒体？它有哪些关键特性？ 3.相对于其他存储介质而言，光盘存储具有哪些特点？ 4.光盘的类型有哪几种？各适用于哪些应用场合？ 5.常见的光盘标准是如何划分的？ 6.DVD能够实现大容量存储的原因是什么？ 7.只读光盘是如何记录“0”和“1”信息，信息又是如何读出的？ 8.什么是音频信号？决定音频信号波形的参数有哪些？ 9.根据奈奎斯特（Nyquist）理论，若原有声音信号的频率为20kHz,则采样频率应为多少？ 10.若一个数字化声音的量化位数为16，则能够表示的声音幅度等级是多少？ 11.常见的数字音频文件有哪些？ 12.什么是计算机图像处理？ 13.数字图像处理技术包括哪些内容？思考与练习 14.图像的数字化过程的基本步骤是什么？ 15.图像的采样与分辨率的关系是什么？奈奎斯特定理在图像采样时还适用吗？ 16.什么图像量化？量化级数与量化字长有什么关系？ 17.常见的数字图像文件有哪些？ 18.RGB彩色模型与YUV彩色模型有什么区别，如何转换？ 19.什么是视频？简述视频图像的数字化过程。 20.数字化视频的优点有哪些？ 21.常用的电视信号制式有哪几种？我国电视信号使用的是什么制式？ 二、练习与实践 1.用441kHz的采样频率进行采样，量化位数选用8位，则录制2分钟的立体声节目，其波形文件所需的存储量是多少？ 2.一幅分辨率为640×480的彩色图像，颜色深度为16，试计算该文件的存储容量是多少？ 3.如果你有数码相机和数字摄像机，用数字设备拍摄一些校园的风景，并在计算机上浏览播放。记录图像或视频文件的格式及其容量，所采用的浏览或播放软件是什么？思考与练习 4.用Windows的录音软件录制一段20秒的声音并保存，观察其文件格式和容量。 5.MIDI音乐格式已非常流行，尝试用Cakewalk软件制作一个MIDI作品，或从网络上下载一个MIDI文件，感受一下MIDI音乐与真实音乐的不同之处。思考与练习