超高清电视系统关键技术摘要:本文研究了超高清电视国内外发展现状,对超高清电视系统的图像参数进行了分析介绍;在我们追求信息量大和视觉享受更美好的同时...【摘要】本文研究了超高清电视国内外发展现状,对超高清电视系统的图像参数进行了分析介绍;在我们追求信息量大和视觉享受更美好的同时带来的问题是数据量的急剧增加,对视频的压缩编码和传输都提出了很高的要求,本文介绍了高效视频编码(HEVC)技术框架,分析了HEVC的关键技术。
【关键词】超高清;电视图像;参数编码;近年来,高清电视(HDTV)逐渐普及,3D电视(3DTV)迅速发展,超高清电视(UHDTV)成为广播电视领域的下一个发展方向。
UHDTV相对于HDTV来说,能够为观众提供更佳的视觉体验、更好的临场感,按照ITU-R相关标准的规定,UHDTV 可支持4K(3840×2160)与8K(7680×4320)两种图像尺寸,这也是UHDTV与HDTV最大的区别。
目前,UHDTV摄制设备逐步面向市场,国内外各大电视机厂商均推出了UHDTV 电视机产品。
在UHDTV试验方面,日本NHK分别在2006年、2007年、2008年完成了基于IP网、卫星及有线混合网络的超高清电视节目的实时拍摄和传送;在2012年伦敦奥运会上,NHK完成了8K超高清的奥运会开幕式及若干赛事实时拍摄、传送和异地观看,在日本和美国的若干展示地点,观众可实时收看超高清伦敦奥运赛事。
在超高清电视技术标准方面,国际标准化组织SMPTE在2007年发布了SMPTE 2036标准,规范了4K、8K两种超高清电视格式;国际电联在2012年发布了ITU-R BT.2020标准,进一步规范了4K、8K超高清电视格式及参数,并将最大帧率扩展到每秒120帧,超高清电视格式的规范为超高清电视系统设备的互联互通以及节目交换奠定了基础;国际电联从2010年开始制定了面向超高清视频编码的HEVC视频编码压缩标准,目前该标准已制定完成,相比上一代视频编码标准,压缩效率提高了将近一倍,可有效缓解超高清电视数据量大的问题;此外,数字电视相关标准组织也在制定适合UHDTV的传输规范,蓝光光盘协会正修订蓝光光盘标准以支持4K超高清视频。
本文将围绕UHDTV相关技术与标准的发展情况,论述UHDTV的图像参数、压缩编码等关键技术。
超高清电视给观众提供了广阔的视野范围,能够给观众带来更好的视觉体验。
在保持了高清电视的其他特征的基础上,超高清电视能够提供更高的分辨率,本节对超高清电视系统的图像相关参数和技术进行介绍。
图1显示了ITU-R基于分辨率和屏幕尺寸对图像系统的分类,图像分辨率是电视系统最重要的参数之一,而屏幕尺寸并不是图像系统的固有参数。
根据ITU-R BT.709的规定,HDTV的分辨率是1920×1080。
大屏幕数字成像((Large Screen Digital Imagery,LSDI)是一种可用于表现戏剧、演出、体育赛事、音乐会等节目的数字成像系统。
为了为涵盖各类应用,LSDI采用分层的图像格式。
ITU-R BT.1680中规定LSDI的分辨率1920×1080和1280×720。
LSDI扩展级别的分辨率是3840×2160和7680×4320。
ITU-R BT.1201标准中提出的超高分辨率成像(Extremely High Resolution Imagery, EHRI)的分辨率是1920×1080的整数倍,能够提供高于HDTV分辨率的制式,可用于广播和非广播应用,根据不同应用,划分为EHRI-0、EHRI-1、EHRI-2和EHRI-3系统。
在EHRI之上提出了UHDTV,UHDTV将为观众提供更佳的视觉体验,并为家庭放映和公共场所播放提供相应尺寸的屏幕。
图1 图像系统的分类与高清电视相比,超高清电视可以给观看者带来更好的视觉体验,能够展现更多的视频信息,具有更强的真实感。
此外,超高清电视也不局限于家庭使用,还可以用于移动和非移动的私人场所或者剧院这样的公共场所。
为了使观众能够良好的欣赏超高清电视节目,需要考虑观看距离与屏幕尺寸的关系。
图2显示了在给定的屏幕尺寸下,观众的最佳观看位置。
第一类应用是大屏幕应用,一般人在家里坐着看电视距离屏幕两到三米,这样的观看习惯对应于超高清电视中的大屏幕尺寸。
与高清电视相比,超高清电视能够给观众提供更宽的视野范围,这类应用也包括剧场环境。
第二类应用是中等尺寸屏幕的应用,屏幕大小是50到150英寸,最佳观看距离从50cm到150cm,这类应用不仅适合传统的节目,观众也可以根据自身喜好调整观看距离。
第三类是小屏幕的应用,例如电子书,对于20英寸屏幕最佳观看距离是20cm,7680×4320像素屏幕可以达到每英寸350像素的精度。
图2 超高清电视观看条件世界各地的电视观众都形成了特有的观看习惯,除非观看体验发生巨大变化,一般观众很难改变自己的观看习惯。
典型的观看习惯是坐在沙发上观看电视,52英寸的高清电视观众的观看距离大概是2.1米。
假设对于3840×2160的超高清电视,观众的观看距离保持不变,屏幕大小应为100英寸。
不排除用户赞成在卧室安装这么大的屏幕,但是安装200英寸的屏幕来适应7680×4320超高清电视的可能性不大。
因此,从视频观看的角度来看,3840×2160的超高清电视在现有的电视观众中很有市场。
但是,对于7680×4320的超高清电视图像系统可能更多的应用于公共的电视展示,如家庭影院、电影院、主题公园等公共场所。
表1给出了不同数字图像系统的最佳观看角度及最佳观看距离。
表1 最佳观看角度和最佳观看距离(用图像高度H表示)基带图像格式是节目信号链路的每一部分的基础,因此在确立超高清电视广播系统之前首先应确定基带图像格式。
(1)宽高比宽高比是图像的基本特征之一,很难在没有视觉失真的情况下对图像宽高比进行转换。
经过大量研究表明,16:9的宽高比能很好的保留图像核心内容,因此超高清电视沿袭了高清电视的宽高比,选为16:9。
(2)时域和空域采样结构空域非正交采样结构适合人类视觉系统(Human Visual System, HVS)特性,但是这样的结构会导致数据速率的下降,因此超高清电视系统继续使用正交采样系统。
对于时域采样,采用逐行扫描方式。
(3)像素数量像素数量可由所需视野范围和分辨率来决定,当观看距离小于屏幕三倍的高度时,3840×2160和7680×4320系统能够给观看者带来更强的身临其境的真实感。
在许多观看环境中,7680×4320系统将提供优于3840×2160系统的视觉效果。
当前超高清电视系统主要有两种格式:3840×2160格式和7680×4320格式。
(4)帧频综合考虑频闪、运动模糊的影响,超高清电视图像格式建议帧频除了60Hz 以外,还增加了120Hz,主要基于以下原因:彻底消除了闪烁效应;综合考量帧频提高的效果和复杂度,更高的帧频(300Hz或者600Hz)是不合理的;采用更高的帧频之前,需要考虑相机、显示器和传输技术的可用性,研究表明120Hz 的超高清电视在不久的将来会成为可能。
(5)比色法经过大量的实验验证,建议超高清电视系统比色法如表2所示。
表2 超高清电视系统比色法(6)彩色编码色度采样为4:4:4、4:2:2和4:2:0。
(7)比特深度电视应用中数字视频信号比特深度一般为8bit和10bit,考虑到更高图像质量的要求,超高清电视系统的比特深度建议为10bit和12bit。
超高清电视图像的数据量远高于高清电视,当前广泛使用的MPEG-2和H.264/AVC压缩编码标准不能很好的满足信源压缩的要求。
国际标准组织从2010年开始制定了面向超高清视频编码的高效视频编码(High Efficiency video coding, HEVC)标准,并于2013年完成标准发布,在ITU标准中命名为H.265。
HEVC标准是由MPEG和VCEG共同建立的JCT-VC组织提出,目标是在H.264/AVC high profile的基础上,压缩效率提高一倍,相同视频质量的前提下,视频流的码率减少50%。
HEVC在沿用H.264的混合编码框架内允许编码端适当提高复杂度,着力研究新的编码工具或技术,以提高视频压缩效率。
HEVC采用灵活的图像划分结构,包括编码树单元(Coding Tree Unit, CTU)、编码单元(Coding Unit, CU)、变换单元(Transform Unit, TU)和预测单元(Prediction Unit, PU)。
CTU的概念类似于H.264/AVC中的宏块概念,但是大小从H.264/AVC的16×16扩展到64×64,使得编码结构更加灵活。
CU是帧内和帧间编码的基本单元,采用四叉树迭代的方式进行划分,划分内容采用内容自适应的原则。
CU再进一步划分,得到与之相对应的PU和TU。
PU是预测过程的基本单元,为了匹配真实物体边界,有8种用于帧间编码CU的划分模式,帧内编码则只有PART_2N×2N 和PART_N×N两种划分。
TU是变换和量化过程的基本单元,大小可以从4×4到32×32。
对于残差数据编码,编码块通过残差四叉树递归的划分为编码块,如图3所示。
图3 左图:编码树块划分;右图:对应的四叉树除了灵活的图像划分结构外,HEVC在去块滤波后增加了样点自适应偏置(Sample Adaptive Offset, SAO)和自适应环路滤波(Adaptive Loop Filter, ALF)两个滤波器。
SAO位于Deblock之后,将重建图像像素点分为不同类型,对不同类型的样点加以不同的偏置量以减少失真,从而进一步提高图像压缩率。
SAO主要包含两种方式:边缘偏置(Edge Offset, EO)和带偏置(Band Offset, BO)两类。
EO有四种模式,根据当前像素与相邻两个像素之间的大小关系将EO 分为五种类型,每种类型赋予不同的偏置值。
BO将像素点按照幅度值大小分为32个均匀幅度带,每个带内的像素点使用相同的偏置值。
自适应环路滤波位于Deblock和SAO之后,主要用于恢复重建图像,使得重建图像和原始图像之间的均方根误差最小。
自适应环路滤波可以提升图像的客观质量,减少由于量化所带来的噪声对图像的损伤。
HEVC在关注视频分辨率提升外,还增加了并行结构的处理。
增加了Tile、Entropy slice和波前并行处理(Wavefront Parallel Processing, WPP)结构。