西南科技大学课程研究报告课程名称：视频信息处理与传输班级：姓名：学号：指导老师：2016年11月日课程学习目的：《视频信息处理与传输》是数字媒体技术方向中的一门专业必选课，学习的目的是让我们系统地理解和掌握视频信息的采集、压缩编码视频信息传输等数字视频技术,并灵活应用。

为我们补充TCP/IP，UDP,RTP等视频信息在网络中传输所必需的协议。

老师为我们讲解了视频信息处理与传输概述，视频信息采集技术，以及传输协议。

我将分别叙述我从中学习到的知识。

第一部分视频信息处理与传输概述随着科学技术，视频信息处理与传输的技术也成了人们关注的一个热点。

从采集到应用系统，每步都在提升。

信息安全与信息垃圾就如人们的生活中的隐私与生活垃圾一样重要，如何维护信息的安全和如何处理信息垃圾已成为一个热点。

信息安全是指信息网络硬件、软件及其系统中的数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露。

系统连续可靠正常地运行，信息服务不中断。

信息安全主要包括以下五方面：保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。

信息安全的根本目的就是使内部信息不受外部威胁，因此信息通常要加密。

为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。

信息垃圾就是那些混在大量有用信息中的无用信息、有害信息，以及对人类社会的各个方面带来危害的信息。

它对信息安全应用和转播构成了威胁。

这一部分就是老师讲的关于这个课程的一些概述，也没用从中获取太多的知识。

第二部分视频信息采集技术从这一部分，我从中学到了视频是怎么样组成的，以及视频的采集技术。

我们所看到的视频信息都是由一帧一帧的静态图像构成的，再加上每一帧图像的时间信息，通过连续播放而成.。

视频分为模拟视频和数字视频，而数字视频是模拟视频的数字化。

模拟信号对应于时间轴有连续的无穷多个值，它完全准确地表示信号电平，如话音、图像等均是模拟信号。

以模拟信号传输或处理的电视称为模拟电视。

模拟电视的讯号广播公司通常是使用NTSC、PAL或SECAM的模拟制式把它们的信号进行调频后，调节这些信号并放进VHF或者UHF的载波上。

数字视频就是以数字形式记录的视频，和模拟视频相对的。

数字视频有不同的产生方式，存储方式和播出方式。

比如通过数字摄像机直接产生数字视频信号，存储在数字带，蓝光盘或者磁盘上，从而得到不同格式的数字视频。

然后通过PC，特定的播放器等播放出来。

为了存储视觉信息，模拟视频信号的山峰和山谷必须通过模拟/数字（A/D）转换器来转变为数字的“0”或“1”。

这个转变过程就是我们所说的视频捕捉（或采集过程）。

如果要在电视机上观看数字视频，则需要一个从数字到模拟的转换器将二进制信息解码成模拟信号，才能进行播放。

模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。

因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。

可见光是波长在380 nm～780 nm 之间的电磁波，我们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。

如果光源由单波长组成，就称为单色光源。

该光源具有能量，也称强度。

实际中，只有极少数光源是单色的，大多数光源是由不同波长组成，每个波长的光具有自身的强度。

这称为光源的光谱分析。

研究表明，人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞。

红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同。

自然界中的任何一种颜色都可以由R，G，B 这3 种颜色值之和来确定，以这三种颜色为基色构成一个RGB 颜色空间，基色的波长分别为700 nm(红色)、546.1nm(绿色)和435.8 nm(蓝色)。

颜色＝R(红色的百分比)＋G(绿色的百分比)＋B(蓝色的百分比)，只要其中一种不是由其它两种颜色生成，可以选择不同的三基色构造不同的颜色空间，即三基色原理。

模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV 信号方式，而计算机工作在RGB 空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。

因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。

模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV 或YIQ 分量，然后用三个模／数转换器对三个分量分别采样并进行数字化，最后再转换成RGB 空间。

对彩色电视图像进行采样时，可以采用两种采样方法。

一种是使用相同的采样频率对图像的亮度信号（Y）和色差信号（Cr，Cb）进行采样，另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样。

如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。

由于人的视觉对亮度信号的敏感度高于对色差的敏感度，这样做利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使两个色差信号所占的带宽明显低于Y 的带宽，而又不明显影响重显彩色图像的观看。

目前使用的子采样格式有如下几种：(1) 4:4:4 这种采样格式不是子采样格式，它是指在每条扫描线上每4 个连续的采样点取4个亮度Y 样本、4个红色差Cr 样本和4个蓝色差Cb 样本，这就相当于每个像素用3个样本表示。

(2) 4:2:2 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y 样本、2个红色差Cr 样本和2个蓝色差Cb 样本，平均每个像素用2个样本表示。

(3) 4:1:1 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y 样本、1个红色差Cr 样本和1个蓝色差Cb 样本，平均每个像素用1.5个样本表示。

(4) 4:2:0 这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y 样本、1个红色差Cr 样本和1个蓝色差Cb 样本，平均每个像素用1.5个样本表示。

等间隔量化适合像素灰度值在黑白范围较均匀分布的图像。

非等间隔量化（非均匀量化）——对图像中像素灰度值频繁出现的灰度值范围，量化间隔取小一些，而对那些像素灰度值极少出现的范围，则量化间隔取大一些。

在数字图像处理技术上，亮度信号的取样频率为13.5MHz，理由如下：①按照奈奎斯特取样定理，取样频率至少应为信号上限频率的2倍，为获得满意的图像质量，在PAL制中亮度信号要求5.8--6MHz的带宽。

因此，取样频率应大于12MHz 。

②为了取样后保证产生足够小的混叠噪声，要求取样频率是信号宽带的2.2-2.7倍。

因此对PAL制信号，取样频率应大于13.2MHz。

我们使用的图像传感器主要有CMOS与CCD两种。

下面就是我学习到的知识。

CCD图像传感器可直接将光学信号转换为模拟电流信号，电流信号经过放大和模数转换，实现图像的获取、存储、传输、处理和复现。

其显著特点是，体积小重量轻，功耗小，工作电压低，抗冲击与震动，性能稳定，寿命长，灵敏度高，噪声低，动态范围大，响应速度快，有自扫描功能，图像畸变小，无残像，应用超大规模集成电路工艺技术生产，像素集成度高，尺寸精确，商品化生产成本低。

因此，许多采用光学方法测量外径的仪器，把CCD器件作为光电接收器。

CMOS图像传感器是一种典型的固体成像传感器，与CCD有着共同的历史渊源。

CMOS图像传感器通常由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、AD 转换器、数据总线输出接口、控制接口等几部分组成,这几部分通常都被集成在同一块硅片上。

其工作过程一般可分为复位、光电转换、积分、读出几部分。

CMOS 图像传感器具有以下几个优点：随机窗口读取能力，抗辐射能力。

，系统复杂程度和可靠性，非破坏性数据读出方式。

第三部分视频信息压缩编码及标准视频信息压缩的必要性与可行性，必要性：以较少的数据来表示图像；节约储存器空间；节省传输信道带宽；加快处理速度。

可行性：冗余越大，可压缩的程度就越高。

①由于相邻像素之间存在关联而产生大量的空间冗余。

②由于彩色元素间存在相互关联而产生大量频谱冗余。

③由于人类视觉系统特点而引起的大量心理视觉冗余。

视频信息压缩的评价指标，衡量一种数据压缩技术的重要性能指标有压缩比、压缩速度、压缩质量和计算量等。

典型的视频信息压缩编码方法，常见的视频信息压缩编码方法有：K-L变换编码、DCT变换编码、子带编码、预测编码、小波变换编码、模型基编码、分形编码、基于对象的视频编码。

通常变换编码的基本思想：先将空间域图像通过某种正交变换，获得一系列变换系数，在变换过程中，使图像变换系数能量相对集中，再对其变换系数进行区域量化等，按其所含能量大小，分配以不同的数据量去描述，从而达到压缩的目的。

数字图像包含的冗余信息一般有以下几种：空问冗余、时间冗余、信息熵冗余、统计冗余、结构冗余、视觉冗余以及知识冗余等。

图像压缩算法就是要在保证图像一定的熏建质量的同时，尽可能多的去除这些冗余信息．以达到对图像压缩的目的。

随着科学技术的发展,图像压缩编码技术越来越引起人们的关注。

所谓的图像压缩编码技术就是对要处理的图像数据按一定的规则进行变换和组合, 从而达到以尽可能少的数据流来表示尽可能多的数据信息。

DCT变换后具有绝对的去相关性，并且变换后的矩阵从左上角到右下角频率规律的渐高。

有损压缩方法利用了人类视觉对图像中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息；虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像的影响较小，却换来了大得多的压缩比。

因此舍弃高频分量保留低频分量的做法对于图像压缩具有绝对的优势。

只要损失的数据不太影响人眼主观接收的效果，就可采用。

首先将输入图像颜色空间转换后分解为8×8大小的数据块，然后用正向二维DCT把每个块转变成64个DCT系数值，其中1个数值是直流(DC)系数，即8×8空域图像子块的平均值，其余的63个是交流(AC)系数，接下来对DCT系数进行量化，最后将变换得到的量化的DCT系数进行编码和传送，这样就完成了图像的压缩过程。

DCT编码过程现在主要的视频信息压缩编码标准有MPEG-1、H.261、MPEG-2、H.262、H.263/H.263+/H.264、MPEG-4、MPEG-7、MPEG-21。

这里介绍MPEG系列标准。

1、MPEG-1标准MPEG-1标准于1993年8月公布，是针对1.5Mbps以下数据传输率的数字存储媒质运动图像及其伴音编码的国际标准。

它提供的重要特性包括基于帧的视频随机访问，通过压缩比特流的快进/快退搜索，视频的倒放，以及压缩比特流的可编辑性。