JPEG定义了两种算法： 1.基于DCT的有失真压缩算法 包括基本系统(Baseline)和扩展系统 2.基于DPCM的无失真压缩算法
JPEG压缩
JPEG压缩
1.色彩空间转换(RGB->YUV) 2.离散余弦变换(DCT) 3.量化 4.Z字型编码 5.差分脉冲编码(DPCM) 6.游程长度编码(RLE) 7.熵编码
JPEG第二步：DCT
二维DCT变换的数学公式：
公式中：
JPEG第二步：DCT
8x8原始数据：
JPEG第二步：DCT
D式：
公式中：
JPEG第二步：DCT
DCT反变换后：
JPEG第三步：量化
量化是指在不引起明显视觉效果失真的前 提下，对图像数据实行部分抛弃(主要是AC 部分)，实现数据的大幅减少 所以，量化是图像质量下降的最重要原因
经过Z字型编码后，AC系数的特点 1.含有很多0值系数 2.很多0值都是连续的
采用游程长度编码(RLE)对AC系数进行编码
方法：使用1个字节的高4位表示连续0的个数， 使用低4位表示下一个非0系数所需要的位数
数据输出端口
• 并口方式 包括数据线和数据同步线(帧同步，行同步， 像素时钟) • 串口方式 包括数据读取线(时钟和数据)和数据写入线 (时钟和数据)
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
JPEG第一步：色彩空间转换
• 亮度Y和色彩UV 人眼对亮度改变的敏感性远比对色彩变化 大很多，因此Y分量要比UV分量重要得多 • YUV通常的格式： YUV4:4:4 4:2:2 4:2:0 4:1:1
JPEG第一步：色彩空间转换
RGB和YUV色彩空间的转换：
JPEG第二步：DCT
• DCT把图像数据从空间域的波形数据转换 成频率域的一组系数，为频域对图像做处 理做好准备 • 变换的基本单位是8x8系数组成的方块 • DCT是无损变换，只要变化的计算精度足 够高，那么原始像素经过IDCT精确恢复
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
CMOS介绍
CMOS图像传感器是利用CMOS工艺制 造的图像传感器，主要利用了半导体的光 电效应。和CCD的原理相同。
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
CMOS和CCD
区别： 灵敏度差异 成本差异 分辨率差异 噪声差异 功耗差异
CMOS和CCD
CMOS：
低成本 低功耗 高整合度
CCD：
灵敏度 分辨率 噪声控制
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
CMOS结构
1. 像素矩阵 2. 模拟信号处理单元 3. 数字信号处理单元 4. 内嵌微控制器 5. 寄存器控制接口 6. 数据输出端口 7. JPEG压缩(可选)
CMOS图像传感器的结构
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
CMOS工艺
CMOS: Complementary Metal Oxide Semiconductor 互补金属氧化物半导体
JPEG压缩
JPEG全名是Joint Photographic Expert Group， 是由国际标准组织(ISO)和国际电话电报咨 询委员会所(CCITT)建立的一种数字影像压 缩标准。完成于1992年，适用于一般连续 色调、多级灰阶、彩色或黑白静止图像压 缩，且在医学上应用广泛。
JPEG压缩
JPEG第三步：量化
JPEG标准采用线性均匀量化器： 对64个DCT变换系数，除以对应的量化步 长，然后四舍五入取整。公式如下：
其中，Y(u,v)表示DCT变换系数 S(u,v)表示量化步长
JPEG第三步：量化
由于人眼对亮度的敏感度比对色差信号更 高，所以采用两种量化表。
标准亮度量化表 标准色差量化表
JPEG第四步： Z字型编码
量化后的系数含有大量的零值系数，位增 加连续零值的个数，需按Z字型编码
JPEG第五步：差分脉冲编码
经过DCT变换之后，DC系数的特点： 1.数值比较大， 2.相邻的8x8系数值相差不大
所以采用差分脉冲编码调制(DPCM)对量化 DC系数进行编码
JPEG第六步：游程长度编码
JPEG第一步：色彩空间转换
• RGB是最常见的色彩空间，R、G、B三原色合成 其他的颜色 • YUV是一种基本色彩空间，被PAL，NSTC和 SECAM用于复合色彩视频标准。 Y表示亮度(灰度值)，U、V表示色调，描述图像 色彩及饱和度的属性。 • YCbCr其实是YUV经过缩放和偏移的改动版，应 用于JPEG、MPEG。 Y表示亮度，Cr、Cb表示色彩，和UV表示不同。
CMOS结构
以OmniVision公司的OV7670为例：
像素矩阵
• 像素：内嵌放大器 • Bayer Filter Pattern
模拟信号处理单元
• AWC：自动白平衡控制 • AGC：自动增益控制 • ADC：模拟到数字的转换
数字信号处理单元
• • • • • • • • 边缘增强 颜色空间转换(RGB->YUV) 减少颜色串扰 色调和饱和度控制 白/黑像素校正 抗噪声 镜头阴影校正 伽马校正
内嵌微控制器
内嵌的MCU根据相应的寄存器值，自动完 成上述的模拟和数字转换功能，只需要外 部提供时钟和电源即可。
寄存器控制接口
• OV:SCCB(串行相机控制总线) • Micron:两线串行接口 • 包括时钟线和数据线，类似于I2C，有专门 的控制协议，完成对CMOS中寄存器的读操 作和写操作