1.1音视频编解码技术
1.1.1 MPEG4
MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。
目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现，MPEG3只能是死于襁褓了。MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1、MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV 对象是MPEG4标准的基本内容。
在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。
由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高清晰度的DVD电影, 可以压缩成两张甚至一张650M CD光碟来存储。对广大的“平民”计算机用户来说，这就意味着, 您不需要购置DVD-ROM就可以欣赏近似DVD质量的高品质影像。而且采用MPEG4编码技术的影片，对机器硬件配置的要求非常之低，300MHZ 以上CPU，64M的内存和一个8M显存的显卡就可以流畅的播放。在播放软件方面，它要求也非常宽松，你只需要安装一个500K左右的MPEG4 编码驱动后，用WINDOWS 自带的媒体播放器就可以流畅的播放了
AV对象（AVO，Audio Visual Object）是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4中所见的音视频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景（AV场景），这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互性的特性，它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。
MPEG-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用
1.1.2 H264
H.264是由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）联合组建的联合视频组（JVT：joint video team）提出的一个新的数字视频编码标准，
它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10 部分。而国内业界通常所说的MPEG-4是MPEG-4的第2部分。H.264标准从1998年1月份开始草案征集，到2003年7月，整套H.264 （ISO/IEC 14496-10）规范定稿。2005年1月，MPEG组织正式发布了H.264验证报告，从各个方面论证了H.264的可用性以及各种工具集的效果，从标准的角度，印证H.264的成熟性。
从标准制定到颁布，H.264一直是ITU、MPEG、DVD、DVB、3GPP等工业化组织共同推进的视频编码国际标准，可以想见，在众多行业巨擘的推动下，H.264技术的应用将迅速进入到视频服务、媒体制作发行、固定及移动运营网络、平台开发、设备终端制造、芯片开发等多个领域。
H.264使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量的图像传输，该优点非常适合国内运营商用户量大、接入网/骨干网带宽相对有限的状况。在同等的画质下，H.264比上一代编码标准MPEG2平均节约64％的传输码流，而比MPEG4 ASP 要平均节约39％的传输码流。全球很多IPTV业务运营商都将H.264作为编解码格式的标准，包括比利时电信，荷兰KPN，泰国ADC电信，中国电信等等。
根据中国电信上海研究院的实际测试结果表明：国内普遍采用的MPEG-4编码技术在3Mbps的带宽下尚达不到标清的图像质量，而H.264编码技术可以在2M带宽下提供要求的图像效果。因而运营商希望引入更先进的H.264编码技术，在有限的带宽资源下进一步提高图像质量。
1.2流媒体网络传输协议
流媒体技术采用一系列的网络协议，包括：
1.实时传输协议RTP(Real-time Transport protocol)
2.实时传输控制协议RTCP(Real-time Transport Control protocol)
3.实时流协议RTSP(Real Time Streaming protocol)
4.资源预留协议RSVP(Resource Reserve Protocol)。
1.2.1 RTP
RTP是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据，而实时数据的传输则由RTCP协议来监视和控制。
RTP定义在RFC 1889中。信息包的结构包含广泛用于多媒体的若干个域，包括声音点播(audio-on-demand)、影视点播(video on demand)、因特网电话(Internet telephony)和电视会议(videoconferencing)。RTP的规格没有对声音和电视的压缩格式制定标准，它可以被用来传输普通格式的文件。例如，W A V或者GSM(G lobal S ystem for M obile communications)格式的声音、MPEG-1和MPEG-2的电视，也可以用来传输专有格式存储的声音和电视文件。
使用RTP协议的应用程序运行在RTP之上，而执行RTP的程序运行在UDP的上层，目的是为了使用UDP的端口号和检查和。如下图所示，RTP可以看成是传输层的子层。由多媒体应用程序生成的声音和电视数据块被封装在RTP信息包中，每个RTP信息包被封装在UDP
RTP是传输层上的协议
从应用开发人员的角度来看，可把RTP执行程序看成是应用程序的一部分，因为开发人员必需把RTP集成到应用程序中。在发送端，开发人员必需把执行RTP协议的程序写入到创建RTP信息包的应用程序中，然后应用程序把RTP信息包发送到UDP的套接接口(socket interface)，如下图所示；同样，在接收端，RTP信息包通过UDP套接接口输入到应用程序，因此开发人员必需把执行RTP协议的程序写入到从RTP信息包中抽出媒体数据的应用程序。
RTP和UDP之间的接口
RTP本身不提供任何机制来确保把数据及时递送到接收端或者确保其他的服务质量，它也不担保在递送过程中不丢失信息包或者防止信息包的次序不被打乱。的确，RTP的封装只是在系统端才能看到，中间的路由器并不区分那个IP数据报是运载RTP信息包的。
RTP允许给每个媒体源分配一个单独的RTP信息包流，例如，摄像机或者麦克风。例如，有两个团体参与的电视会议，这就可能打开4个信息包流：两台摄像机传送电视流和两个麦克风传送声音流。然而，许多流行的编码技术，包括MPEG-1和MPEG-2在编码过程中都把声音和电视图像捆绑在一起以形成单一的数据流，一个方向就生成一个RTP信息包流。
RTP信息包没有被限制只可应用于单目标广播，它们也可以在一对多(one-to-many)的多目标广播树或者在多对多(many-to-many)的多目标广播树上传送。例如，多对多的多目标广播，在这种应用场合下，所有发送端通常都把他们的RTP信息包流发送到具有相同多目标广播地址的多目标广播树上。
RTP标题由4个信息包标题域和其他域组成：有效载荷类型(payload type)域，顺序号(sequence number)域，时间戳(timestamp)域和同步源标识符(Synchronization Source Identifier)
1. 有效载荷类型
RTP信息包中的有效载荷域(Payload Type Field)的长度为7位，因此RTP可支持128种不同的有效载荷类型。对于声音流，这个域用来指示声音使用的编码类型，例如PCM、自适应增量调制或线性预测编码等等。如果发送端在会话或者广播的中途决定改变编码方法，发送端可通过这个域来通知接收端。
2. 顺序号
顺序号(Sequence Number Field)域的长度为16位。每发送一个RTP信息包顺序号就加1，接收端可以用它来检查信息包是否有丢失以及按顺序号处理信息包。例如，接收端的应用程序接收到一个RTP信息包流，这个RTP信息包在顺序号86和89之间有一个间隔，接收端就知道信息包87和88已经丢失，并且采取措施来处理丢失的数据。（初始是随机的）
3. 时间戳
时间戳(Timestamp)域的长度为32字节。它反映RTP数据信息包中第一个字节的采样时刻(时间)。接收端可以利用这个时间戳来去除由网络引起的信息包的抖动，并且在接收端为播放提供同步功能。（由该时间恢复出原始时钟信息，要处理分布式终端的时钟漂移）
4. 同步源标识符
同步源标识符(S ynchronization S ou rc e Identifier，SSRC)域的长度为32位。它用来标识RTP信息包流的起源，在RTP会话或者期间的每个信息包流都有一个清楚的SSRC。SSRC 不是发送端的IP地址，而是在新的信息包流开始时源端随机分配的一个号码。（用于媒体间同步）
1.2.2 RTCP
实时传输控制协议(R eal-t ime C ontrol P rotocol，RTCP)也定义在1996年提出的RFC 1889中。多媒体网络应用把RTCP和RTP一起使用，尤其是在多目标广播中更具吸引力。当从一个或者多个发送端向多个接收端广播声音或者电视时，也就是在RTP会话期间，每个参与者周期性地向所有其他参与者发送RTCP控制信息包，如图所示。RTCP用来监视服务质量和传送有关与会者的信息。对于RTP会话或者广播，通常使用单个多目标广播地址，属于这个会话的所有RTP和RTCP信息包都使用这个多目标广播地址，通过使用不同的端口号可把RTP信息包和RTCP信息包区分开来。
每个参与者周期性地发送RTCP控制信息包
RTCP的主要功能是为应用程序提供会话质量或者广播性能质量的信息。每个RTCP信息包不封装声音数据或者电视数据，而是封装发送端和/或者接收端的统计报表。这些信息包括发送的信息包数目、丢失的信息包数目和信息包的抖动等情况，这些反馈信息对发送端、接收端或者网络管理员都是很有用的。RTCP规格没有指定应用程序应该使用这个反馈信息做什么，这完全取决于应用程序开发人员。例如，发送端可以根据反馈信息来修改传输速率，接收端可以根据反馈信息判断问题是本地的、区域性的还是全球性的，网络管理员也可以使用RTCP信息包中的信息来评估网络用于多目标广播的性能。
1.2.3 RTSP
实时流放协议(Real-Time Streaming Protocol，RTSP)是一个刚开始开发的协议，它的设想描述在RFC 2326文件中。RTSP是应用级的实时流放协议，它主要目标是为单目标广播和多目标广播上的流式多媒体应用提供牢靠的播放性能，以及支持不同厂家提供的客户机和
服务机之间的协同工作能力。
在RTSP中，每个演示（Presentation）及其所对应的媒体流都由一个RTSP URL标识。整个演示及媒体特性都在一个演示描述（Presentation description）文件中定义，该文件可能包括媒体编码方式、语言、RTSP URLs、目标地址、端口及其它参数。用户在向服务器请求某个连续媒体流的服务之前，必须首先从服务器获得该媒体流的演示描述（Presentation description）文件以得到必需的参数，演示描述文件的获取可采用HTTP、email或其他方法。
RTSP中的所有的操作都是通过服务器和客户方的消息应答来完成的，其消息包括请求（Request）和响应（Response）两种，RTSP正是通过服务器和客户端的消息应答来完成媒体流的创建、初始化（SETUP）、VCR(盒式录像机VideoCassetteRecorder)控制（PLAY、PAUSE）以及拆线（TEARDOWN）等操作的。在基于Client/Server结构的分布式视频点播系统中，RTSP协议的操作过程如图：
客户机在向视频服务器请求视频服务之前，首先通过HTTP协议从Web服务器获取所请求视频服务的演示描述（Presentation description）文件，利用该文件提供的信息定位视频服务地址（包括视频服务器地址和端口号）及视频服务的编码方式等信息。然后客户机根据上述信息向视频服务器请求视频服务(SETUP)。视频服务初始化完毕，视频服务器为该客户建立一个新的视频服务流，客户端与服务器运行实时流控制协议RTSP，以对该流进行各种VCR控制信号的交换，如播放（PLAY）、停止（PAUSE）、快进、快退等。当服务完毕，客户端提出拆线（TEARDOWN）请求，释放资源。
例子：
频道切换的RTSP信息
06/07/12 03:02:07:750 Debuger Connect Succeed, Port=10010, Connected!
06/07/12 03:02:08:390 RTSP: MEDIA_CLOSE cmd recv!
06/07/12 03:02:08:390 ******(Clinet => Server)******
COMMAND******TEARDOWN
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814324870782148.sdp?userid =26770602&clientt。。。。。（断开视频服务器的相关信息）
。。。。。。。
06/07/12 03:02:09:484 The transpot type is
06/07/12 03:02:09:593 ******(Clinet =>
Server)************COMMAND******DESCRIBE
rtsp://172.16.102.100:1554/008/unicast/ch06070814315964857960.sdp?userid=26770602&cli
enttype=1&mediai。。。。。。（用户发出频道请求时，Agent的相关信息）
06/07/12 03:02:10:812 RTSP response isn't 200 but other 302! （重定向）
06/07/12 03:02:10:812 RTSP: MEDIA_CLOSE cmd recv!
06/07/12 03:02:10:812 ******(Clinet =>
Server)************COMMAND******TEARDOWN
rtsp://172.16.102.100:1554/008/unicast/ch06070814315964857960.sdp?userid=26770602&cli enttype=1&mediaid=ch06。。。。。。（与Agent断开的相关信息）
。。。。。
06/07/12 03:02:10:812 The transpot type is
06/07/12 03:02:10:812 ******(Clinet =>
Server)************COMMAND******DESCRIBE
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp?userid =26770602&clientt。。。。。。（由Agent指定的流媒体服务器信息）
。。。。。。
06/07/12 03:02:10:812 ******(Server => Clinet)**********RESPONSE******RTSP/1.0 200 OK
Server: ZMSS/V1.20.033E (Build/2006.06.12; Platform/Linux; Release/ZMSS; )（流媒体的版本信息）
。。。。。
Content-Base:
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp/ 。。。。
06/07/12 03:02:10:812 ******(Clinet => Server)***********COMMAND******SETUP rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp/trackI D=2 RTSP/1.0
。。。。。
06/07/12 03:02:10:812 ******(Server =>
Clinet)***********RESPONSE******RTSP/1.0 200 OK
。。。。。。。
06/07/12 03:02:10:812 ******(Clinet => Server)***********COMMAND******PLAY rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp?userid =26770602&clientt。。。。。
06/07/12 03:02:10:921 ******(Server => Clinet)**********RESPONSE******RTSP/1.0 200 OK
。。。。。
RTP-Info:
url=rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp/tra ckID=2
06/07/12 03:02:10:140 RTSP: ******
Client>*********COMMAND*****SET_PARAMETER
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp RTSP/1.0 CSeq: 1 x-SpeedupPlay: NO
点播节目播放的RTSP信息
06/07/12 04:58:12:921 Debuger Connect Succeed, Port=10010, Connected!
06/07/12 04:58:18:593 The transpot type is
06/07/12 04:58:18:593 ******(Clinet =>
Server)************COMMAND*****DESCRIBE
rtsp://172.16.102.100:1554/008/vod/00000000020000000415.mpg?userid=26770602&clientt ype=1&mediaid=0000000003020000000017&paytype=0&time=20060712125824+08&life= 3600&usersessionid=120695&vcdnid。。。。。。。。。
06/07/12 04:58:19:468 RTSP response isn't 200 but other 302! （重定向）
06/07/12 04:58:19:468 RTSP: MEDIA_CLOSE cmd recv!
06/07/12 04:58:19:468 ******(Clinet =>
Server)*******COMMAND******TEARDOWN
rtsp://172.16.102.100:1554/008/vod/00000000020000000415.mpg?userid=26770602&clientt ype=1&mediaid=0。。。。。。。。。。
06/07/12 04:58:19:468 ******(Clinet =>
Server)*********COMMAND******DESCRIBE
rtsp://172.16.58.101/008/vod/00000000020000000415.mpg?userid=26770602&clienttype=1 &mediaid=0000000。。。。。。。。。。。
06/07/12 04:58:20:796 ******(Server => Clinet)*********RESPONSE******RTSP/1.0 200 OK
Server: ZMSS/V1.20.033E (Build/2006.06.12; Platform/Linux; Release/ZMSS; )
Content-Base: rtsp://172.16.58.101/008/vod/00000000020000000415.mpg/
。。。。。。
06/07/12 04:58:20:796 ******(Clinet =>
Server)***********COMMAND******SETUP
rtsp://172.16.58.101/008/vod/00000000020000000415.mpg/trackID=1 RTSP/1.0
。。。。。
06/07/12 04:58:20:796 ******(Server => Clinet)*********RESPONSE******RTSP/1.0 200 OK
Server: ZMSS/V1.20.033E (Build/2006.06.12; Platform/Linux; Release/ZMSS; )
。。。。。。
06/07/12 04:58:20:796 ******(Clinet => Server)***********COMMAND******PLAY rtsp://172.16.58.101/008/vod/00000000020000000415.mpg?userid=26770602&clienttype=1 &mediaid=0000000。。。。。
06/07/12 04:58:20:796 ******(Server => Clinet)********RESPONSE******RTSP/1.0 200 OK
。。。。。。。。。
RTP-Info:
url=rtsp://172.16.58.101/008/vod/00000000020000000415.mpg/trackID=1;seq=0;rtptime=0 06/07/12 04:58:20:453 RTSP: ******
x-SpeedupPlay:NO
1.2.4RSVP
RSVP协议是一种可以提供音频、视频、数据等混合服务的互联网络综合服务（IIS
Internet Integrated service ) [RSVP97,RFC1633]。通过它，主机端可以向网络申请特定的QoS，为特定的应用程序提供有保障的数据流服务。同时RSVP在数据流经过的各个路由器节点上对资源进行预留，并维持该状态直到应用程序释放这些资源。
RSVP对资源的申请是单向的，所以RSVP在申请资源的过程中发送端和接受端是逻辑上完全不同的两个部分。（虽然发送端和接受端可以运行在同一个进程下）。RSVP工作在IPv4或IPv6上，处于 OSI七层协议中的传送层，但是，RSVP并不处理传送层的数据，从本质上看，RSVP更象是网络控制协议，如ICMP（Internet Control Message Protocol），IGMP （Internet Group Management Protocol）或是路由协议。和路由协议及管理协议的实现相同，RSVP的实现通常在后台执行，而不是出现在数据传送的路径上（图一）。
RSVP本身并不是路由协议，RSVP是和现在或是将来出现的点对点传播和多点组播协议一起工作的。RSVP进程通过本地的路由数据库来获取路由信息，如在多点组播过程中，主机端送出IGMP报文来加入一个多点组播的组群，然后送出RSVP报文在组群的传送路径上保留网络资源，路由协议决定报文的走向，而RSVP仅关心这些报文在它将走的路径上能否获得满意的服务质量。
为了适应可能出现的大规模组群、动态组群、异类接受端的可能，RSVP采取由接受端发起服务质量（QoS）申请的策略。QoS请求从接受端的应用程序出发交给本地的RSVP 驻留进程，再由该RSVP驻留进程将该请求递交给沿数据传送的反向路径（接受端至发送端）上的各个节点（路由器或是主机）进行资源的申请。所以，RSVP协议在资源保留上花费一般是呈对数而不是线形幅度增长。
1.3流媒体播放方式
1.3.1单播
在客户端与流媒体服务器之间建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机，这种传送方式为单播。每个用户必须分别对媒体服务器发送单独的查询，而媒体服务器必须向每个用户发送所申请的数据包拷贝。这种巨大冗余首先造成服务器沉重的负担，响应需要很长时间，甚至停止播放，管理人员也被迫增加硬件和宽带来保证一定的服务质量。
1.3.2组播
组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到多个通道上.采用组播方式，单台服务器能够对几十万台客户机同时发送连续数据而无延时。媒体服务器只需要发送一个信息包，而不是多个，所以发出请求的客户端共享同一信息包。信息可以发送到任意地址的客户机，以减少网络上传输的信息包的总量。网络利用率大大提高，成本大大降低。
1.3.3点播与广播
点播连接是客户端与服务器之间的主动连接。在点播连接中，用户通过选择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。点播连续提供了对流的最大控制，但这种方式由于每个客户各自连接服务器，就会迅速用完网络带宽。
广播指的是用户被动接受流。在广播过程中，客户端接收流，但不能控制流，例如，用户不能暂停、快进或后退该流。在使用单播发送时，需要将数据包复制多个副本，以多个点对点的方式分别发送到需要它的那些用户，而使用广播方式发送，数据包的单独一个副本将发送给网络上的所有用户，而不管用户是否需要。上述两种传输方式非常浪费网络带宽。
组播吸收了上述两种发送方式的长处，克服了上述两种发送方式的弱点，将数据包的单独一个拷贝发送给需要的的那些用户。
1.4业界中流媒体系统的简介
目前有三大主流流媒体系统解决方案，包括RealNetWorks的RealServer、Mirosoft的
Windows Media Server、Apple的QuickTime Streaming Server（QTSS）。
rtsp简介(ZT) Real Time Streaming Protocol或者RTSP（实时流媒体协议），是由Real network 和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP提供一种可扩展的框架，使能够提供能控制的，按需传输实时数据，比如音频和视频文件。源数据可以包括现场数据的反馈和存贮的文件。rtsp对流媒体提供了诸如暂停，快进等控制，而它本身并不传输数据，rtsp作用相当于流媒体服务器的远程控制。传输数据可以通过传输层的tcp，udp协议，rtsp也提供了基于rtp传输机制的一些有效的方法。RTSP消息格式: RTSP的消息有两大类,一是请求消息(request),一是回应消息(response),两种 消息的格式不同. 请求消息: 方法URI RTSP版本CR LF 消息头CR LF CR LF 消息体CR LF 其中方法包括OPTION回应中所有的命令,URI是接受方的地址,例如 :rtsp://192.168.20.136 RTSP版本一般都是RTSP/1.0.每行后面的CR LF表示回车换行，需要接受端有相应的解析，最后一个消息头需要有两个CR LF 回应消息: RTSP版本状态码解释CR LF 消息头CR LF CR LF 消息体CR LF 其中RTSP版本一般都是RTSP/1.0,状态码是一个数值,200表示成功,解释是与状态码对应的文本解释. 简单的rtsp交互过程: C表示rtsp客户端,S表示rtsp服务端 1.C->S:OPTION request //询问S有哪些方法可用 1.S->C:OPTION response //S回应信息中包括提供的所有可用方法 2.C->S:DESCRIBE request //要求得到S提供的媒体初始化描述信息 2.S->C:DESCRIBE response //S回应媒体初始化描述信息，主要是sdp 3.C->S:SETUP request //设置会话的属性，以及传输模式，提醒S建立会 话 3.S->C:SETUP response //S建立会话，返回会话标识符，以及会话相关信息 4.C->S:PLAY request //C请求播放 4.S->C:PLAY response //S回应该请求的信息 S->C:发送流媒体数据 5.C->S:TEARDOWN request //C请求关闭会话 5.S->C:TEARDOWN response //S回应该请求
http://biz.doczj.com/doc/dd13555143.html, 音视频技术基本知识一 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云总结网络上的知识，与大家分享一下音视频技术基本知识。 与画质、音质等有关的术语 这些术语术语包括帧大小、帧速率、比特率及采样率等。 1、帧 一般来说，帧是影像常用的最小单位，简单的说就是组成一段视频的一幅幅图片。电影的播放连续的帧播放所产生的，现在大多数视频也类似，下面说说帧速率和帧大小。 帧速率，有的转换器也叫帧率，或者是每秒帧数一类的，这可以理解为每一秒的播放中有多少张图片，一般来说，我们的眼睛在看到东西时，那些东西的影像会在眼睛中停留大约十六分之一秒，也就是视频中只要每秒超过15帧，人眼就会认为画面是连续不断的，事实上早期的手绘动画就是每秒播放15张以上的图片做出来的。但这只是一般情况，当视频中有较快的动作时，帧速率过小，动作的画面跳跃感就会很严重,有明显的失真感。因此帧速率最好在24帧及以上，这24帧是电影的帧速率。 帧大小，有的转换器也叫画面大小或屏幕大小等，是组成视频的每一帧的大小，直观表现为转换出来的视频的分辨率的大小。一般来说，软件都会预置几个分辨率，一般为320×240、480×320、640×360、800×480、960×540、1280×720及1920×1080等，当然很多转换器提供自定义选项，这里，不得改变视频长宽比例。一般根据所需要想要在什么设备上播放来选择分辨率，如果是转换到普通手机、PSP等设备上，视频分辨率选择与设备分辨率相同，否则某些设备可能会播放不流畅，设备分辨率的大小一般都可以在中关村在线上查到。 2、比特率 比特率，又叫码率或数据速率，是指每秒传输的视频数据量的大小，音视频中的比特率，是指由模拟信号转换为数字信号的采样率；采样率越高，还原后的音质和画质就越好；音视频文件的体积就越大，对系统配置的要求也越高。 在音频中，1M以上比特率的音乐一般只能在正版CD中找到，500K到1M的是以APE、FLAC等为扩展名的无损压缩的音频格式，一般的MP3是在96K到320K之间。目前，对大多数人而言，对一般人而言192K就足够了。 在视频中，蓝光高清的比特率一般在40M以上，DVD一般在5M以上，VCD一般是在1M 以上。（这些均是指正版原盘，即未经视频压缩的版本）。常见的视频文件中，1080P的码率一般在2到5M之间，720P的一般在1到3M，其他分辨率的多在一M一下。 视频文件的比特率与帧大小、帧速率直接相关，一般帧越大、速率越高，比特率也就越大。当然某些转换器也可以强制调低比特率，但这样一般都会导致画面失真，如产生色块、色位不正、出现锯齿等情况。
1.1音视频编解码技术 1.1.1 MPEG4 MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。 目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现，MPEG3只能是死于襁褓了。MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1、MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV 对象是MPEG4标准的基本内容。 在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。 由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高清晰度的DVD电影, 可以压缩成两张甚至一张650M CD光碟来存储。对广大的“平民”计算机用户来说，这就意味着, 您不需要购置DVD-ROM就可以欣赏近似DVD质量的高品质影像。而且采用MPEG4编码技术的影片，对机器硬件配置的要求非常之低，300MHZ 以上CPU，64M的内存和一个8M显存的显卡就可以流畅的播放。在播放软件方面，它要求也非常宽松，你只需要安装一个500K左右的MPEG4 编码驱动后，用WINDOWS 自带的媒体播放器就可以流畅的播放了 AV对象（AVO，Audio Visual Object）是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4中所见的音视频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景（AV场景），这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互性的特性，它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。 MPEG-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用 1.1.2 H264 H.264是由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）联合组建的联合视频组（JVT：joint video team）提出的一个新的数字视频编码标准，
S3 视频处理 S1.1 视频基础知识 视频信息是连续变化的影像，通常是指实际场景的动态演示，例如电影、电视、摄像资料等。视频信息带有同期音频，画面信息量大，表现的场景复杂，通常采用专门的软件对其进行加工和处理。 S3.1.1 视频设备 常用的视频设备主要有采集卡（用于采集模拟信号）、1394卡（用于采集数字视频信号）、DVD/CD 刻录机（存储视频）。 S3.1.2 视频格式 1、AVI AVI的英文全称为Audio Video Interleaved，即音频视频交错格式。它于1992年被Microsoft 公司推出，随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”，就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，而低版本Windows媒体播放器又播放不了采用最新编码编辑的AVI格式视频，所以我们在进行一些AVI格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题，如果用户在进行AVI格式的视频播放时遇到了这些问题，可以通过下载相应的解码器来解决。 DV-AVI格式：DV的英文全称是Digital Video Format，是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。它可以通过电脑的IEEE 1394端口传输视频数据到电脑，也可以将电脑中编辑好的的视频数据回录到数码摄像机中。这种视频格式的文件扩展名一般是.avi，所以也叫DV-AVI格式。 2、MPEG MPEG-1制定于1992年，为工业级标准而设计，可适用于不同带宽的设备，如CD-ROM、Video-CD、CD-i。它可针对SIF标准分辨率(对于NTSC制为352X240；对于PAL制为352X288)的图象进行压缩，传输速率为1.5Mbits/sec，每秒播放30帧，具有CD(指激光唱盘)音质，质量级别基本与VHS相当。MPEG的编码速率最高可达4-5Mbits/sec，但随着速率的提高，其解码后的图象质量有所降低。 MPEG-2制定于1994年，设计目标是高级工业标准的图象质量以及更高的传输率。MPEG-2所能提供的传输率在3-10Mbits/sec间,其在NTSC制式下的分辨率可达720X486，MPEG-2也可提供并能够提供广播级的视像和CD级的音质。MPEG-2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道，和多达7个伴音声道(DVD可有8种语言配音的原因)。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。 MPEG-4标准主要应用于视像电话(videophone)，视像电子邮件(VideoEmail)和电子新闻(Electronicnews)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率176X144。 MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图象质量。与MPEG-1和MPEG-2相比，MPEG-4的特点是其更适于交互AV服务以及远程监控。
网络视频解码器使 用手册 1 2020年4月19日
网络视频解码器 使用手册 尊敬的用户，非常感谢您一直对我公司的产品的关注，假如您在使用过程中按照使用手册无法解决问题时，请致电我公司技术部垂询相关操作方法。本手册的内容将做不定期的更新，恕不另行通知。
目录 1 引言.......................................................................... 错误!未定义书签。 1.1 编写目的 .......................................................... 错误!未定义书签。 1.2 使用范围 .......................................................... 错误!未定义书签。 2 产品介绍 .................................................................. 错误!未定义书签。 2.1 产品简介 .......................................................... 错误!未定义书签。 2.2 产品技术规格 .................................................. 错误!未定义书签。 3 设备说明 .................................................................. 错误!未定义书签。 3.1 运行环境 .......................................................... 错误!未定义书签。 3.2 支持解码设备 .................................................. 错误!未定义书签。 4 产品使用 .................................................................. 错误!未定义书签。 4.1 装箱清单 .......................................................... 错误!未定义书签。 4.2 产品安装注意事项........................................... 错误!未定义书签。 4.3 连接示意图 ...................................................... 错误!未定义书签。 4.4 设置解码器 ...................................................... 错误!未定义书签。 4.4.1搜索解码器............................................... 错误!未定义书签。 4.4.2添加解码器............................................... 错误!未定义书签。 4.4.3解码器参数设置 ....................................... 错误!未定义书签。 4.4.4设备列表设置........................................... 错误!未定义书签。 4.4.5系统参数配置........................................... 错误!未定义书签。 4.4.6轮巡设置 .................................................. 错误!未定义书签。
H5视频直播扫盲 1 H5到底能不能做视频直播 当然可以， H5火了这么久，涵盖了各个方面的技术。 对于视频录制，可以使用强大的webRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的技术，缺点是只在PC的chrome上支持较好，移动端支持不太理想。 对于视频播放，可以使用HLS(HTTP Live Streaming)协议播放直播流，ios和android都天然支持这种协议，配置简单，直接使用video标签即可。 webRTC兼容性： video标签播放hls协议视频：
1 2 3 4 2 到底什么是HLS协议 简单讲就是把整个流分成一个个小的，基于HTTP的文件来下载，每次只下载一些，前面提到了用于H5播放直播视频时引入的一个.m3u8的文件，这个文件就是基于HLS协议，存放视频流元数据的文件。 每一个.m3u8文件，分别对应若干个ts文件，这些ts文件才是真正存放视频的数据，m3u8文件只是存放了一些ts文件的配置信息和相关路径，当视频播放时，.m3u8是动态改变的，video标签会解析这个文件，并找到对应的ts文件来播放，所以一般为了加快速度，.m3u8放在web服务器上，ts文件放在cdn上。 .m3u8文件，其实就是以UTF-8编码的m3u文件，这个文件本身不能播放，只是存放了播放信息的文本文件： 1 2 3 4 5#EXTM3U m3u文件头 #EXT-X-MEDIA-SEQUENCE 第一个TS分片的序列号#EXT-X-TARGETDURATION 每个分片TS的最大的时长#EXT-X-ALLOW-CACHE是否允许cache #EXT-X-ENDLISTm3u8文件结束符
音频编码解码基本概念介绍 对数字音频信息的压缩主要是依据音频信息自身的相关性以及人耳对音频信息的听觉冗余度。音频信息在编码技术中通常分成两类来处理，分别是语音和音乐，各自采用的技术有差异。 语音编码技术又分为三类：波形编码、参数编码以及混合编码。 波形编码：波形编码是在时域上进行处理，力图使重建的语音波形保持原始语音信号的形状，它将语音信号作为一般的波形信号来处理，具有适应能力强、话音质量好等优点，缺点是压缩比偏低。该类编码的技术主要有非线性量化技术、时域自适应差分编码和量化技术。非线性量化技术利用语音信号小幅度出现的概率大而大幅度出现的概率小的特点，通过为小信号分配小的量化阶，为大信号分配大的量阶来减少总量化误差。我们最常用的G.711标准用的就是这个技术。自适应差分编码是利用过去的语音来预测当前的语音，只对它们的差进行编码，从而大大减少了编码数据的动态范围，节省了码率。自适应量化技术是根据量化数据的动态范围来动态调整量阶，使得量阶与量化数据相匹配。G.726标准中应用了这两项技术，G.722标准把语音分成高低两个子带，然后在每个子带中分别应用这两项技术。 参数编码：广泛应用于军事领域。利用语音信息产生的数学模型，提取语音信号的特征参量，并按照模型参数重构音频信号。它只能收敛到模型约束的最好质量上，力图使重建语音信号具有尽可能高的可懂性，而重建信号的波形与原始语音信号的波形相比可能会有相当大的差别。这种编码技术的优点是压缩比高，但重建音频信号的质量较差，自然度低，适用于窄带信道的语音通讯，如军事通讯、航空通讯等。美国的军方标准LPC-10，就是从语音信号中提取出来反射系数、增益、基音周期、清/浊音标志等参数进行编码的。MPEG-4标准中的HVXC声码器用的也是参数编码技术，当它在无声信号片段时，激励信号与在CELP时相似，都是通过一个码本索引和通过幅度信息描述；在发声信号片段时则应用了谐波综合，它是将基音和谐音的正弦振荡按照传输的基频进行综合。 混合编码：将上述两种编码方法结合起来，采用混合编码的方法，可以在较低的数码率上得到较高的音质。它的特点是它工作在非常低的比特率(4~16 kbps)。混合编码器采用合成分析技术。
电影院音视频系统 技术方案 启拓电子（中国）有限公司全国热线电话：400 1818 026
一、概述 1、引言 数字电影指的是从电影制作工艺、制作方式、到发行及传播方式上均全面数字化。与传统电影相比，数字电影最大的区别是不再以胶片为载体，以拷贝为发行方式，而是以数字文件形式发行或通过网络、卫星直接传送到影院。数字化播映是由高亮度、高清晰度、高反差的电子放映机依托宽带数字存储、传输技术实现的。 2、发展状况 电影院是为观众放映电影的场所。电影在产生初期，是在咖啡厅、茶馆等场所放映的。随着电影的进步与发展，出现了专门为放映电影而建造的电影院。电影的发展——从无声到有声乃至立体声，从黑白片到彩色片，从普通银幕到宽银幕乃至穹幕、环幕，使电影院的形体、尺寸、比例和声学技术都发生了很大变化。电影院必须满足电影放映的工艺要求，得到应有的良好视觉和听觉效果。 电影的历史已有百年之久．它的每一次进步都缘于科技的推动，数字技术进入电影产业．是电影继无声变有声，黑白变彩色之后的第三次革命性改进，数字技术的介入，将使电影从制作到表现手法、运作方式、发行方式、播映方式都发生革命性的变化。 电影业在长期发展中形成了全球统一的标准，一部影片可以在全球任何影院放映。数字影院发展初期，由于没有标准，各系统不能兼容，阻碍了数字影院成规模发展。在建立统一的数字影院标准的呼声
下， 2002年4月，好莱坞七大电影制作公司宣布成立名为DCI （Digital Cinema Initiatives, LLC）的组织来共同制定数字电影技术的标准，并鼓励电影院采用数字式放映设备。 2005年7月DCI 《数字影院系统规范1.0》发布，全球数字影院标准取得了突破性的发展。之后，SMPTE DC28 (美国电影电视工程师协会、数字影院技术标准委员会) 以DCI规范为基础，研究和制定数字影院行业标准，迄今为止，超过50%的数字影院标准已经发布。 3、电影在中国的发展 在国家和政府的大力支持下，2002年2月中国开始了发展影院的进程。目前，我国已建成60多家2K数字影院，成为世界上数字电影发展最快的国家之一。并发行了《天上草原》、《星战前传Ⅰ》、《哈利波特》、《海底总动员》《太行山上》、《蜘蛛侠III》等十几部数字电影。2002年中国电影科学技术研究所起草、制定了《电影技术要求（暂行）》，由国家广电总局颁布，实施。目前，电影科研所还密切追踪国外标准制定组织的进展，参考各项国际规范并结合我国现状及市场需求对已颁布的《电影技术要求（暂行）》进行修改。在城市影院的发展中，将建立与国际接轨的电影标准。 二、需求分析 目前，越来越多的消费者希望着电影院能给观众带来的更直接逼真视觉传达和舒适身临其境的听觉冲击，从1996年以来，出现了利用双音箱音响系统来产生虚拟环绕声的虚拟环绕声技术。虚拟环绕声主要原理是基于人的“双耳效应”原理和“耳廓效应”原理。它是一种利
RTSP协议学习笔记 目录 RTSP协议学习笔记 (1) 第一部分:RTSP协议 (2) 一、RTSP协议概述 (2) 二、RTSP协议与HTTP协议区别 (2) 三、RTSP重要术语 (3) 1.集合控制(Aggregate control ): (3) 2.实体(Entity)： (3) 3.容器文件（Container file）： (3) 4.RTSP会话(RTSP session )： (3) 四、RTSP请求消息 (3) 1.消息格式： (3) 五、RTSP回应消息 (4) 1.消息格式： (4) 六、RTSP 重要方法 (4) 1. OPTIONS: (4) 2. DESCRIBE： (5) 3. SETUP： (6) 4. PLAY： (7) 5. PAUSE： (8) 6. TEARDOWN： (8) 七、RTSP重要头字段参数 (9) 1.Accept: (9) 2.Bandwidth: (9) 3. CSeq： (9) 4. Rang： (9) 5.Session: (9) 6.Transport: (9) 八、简单的RTSP消息交互过程 (10) 1.第一步：查询服务器端可用方法 (10) 2.第二步：得到媒体描述信息 (10) 3.第三步：建立RTSP会话 (10) 4.第四步：请求开始传送数据 (10) 5.第五步：数据传送播放中 (10) 6.第六步：关闭会话，退出 (10) 第二部分:SDP协议 (11) 一、SDP协议概述 (11) 二、SDP格式 (11) 三、SDP示例 (12) 第三部分:MMS协议 (13) 一、MMS协议概述 (13)
1.1 音视频编解码技术 1.1.1 MPEG4 MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。 目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD 等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现， MPEG3只能是死于襁褓了。MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性 MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1、MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV对象是MPEG4标准的基本内容。 在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。 由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高
RTP 参考文档 RFC3550/RFC3551 Real-time Transport Protocol)是用于Internet上针对多媒体数据流的一种传输层协议。RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统（配合RTCP协议），视频会议和一键通（Push to Talk）系统（配合H.323或SIP），使它成为IP电话产业的技术基础。RTP协议和RTP控制协议RTCP一起使用，而且它是建立在UDP协议上的。 RTP 本身并没有提供按时发送机制或其它服务质量（QoS）保证，它依赖于低层服务去实现这一过程。 RTP 并不保证传送或防止无序传送，也不确定底层网络的可靠性。 RTP 实行有序传送， RTP 中的序列号允许接收方重组发送方的包序列，同时序列号也能用于决定适当的包位置，例如：在视频解码中，就不需要顺序解码。 RTP 由两个紧密链接部分组成： RTP ―传送具有实时属性的数据；RTP 控制协议（RTCP）―监控服务质量并传送正在进行的会话参与者的相关信息。 RTCP 实时传输控制协议（Real-time Transport Control Protocol或RTP Control Protocol或简写RTCP）是实时传输协议（RTP）的一个姐妹协议。RTCP为RTP媒体流提供信道外（out-of-band）控制。RTCP本身并不传输数据，但和RTP一起协作将多媒体数据打包和发送。RTCP定期在流多媒体会话参加者之间传输控制数据。RTCP的主要功能是为RTP 所提供的服务质量（Quality of Service）提供反馈。 RTCP收集相关媒体连接的统计信息，例如：传输字节数，传输分组数，丢失分组数，jitter，单向和双向网络延迟等等。网络应用程序可以利用RTCP所提供的信息试图提高服务质量，比如限制信息流量或改用压缩比较小的编解码器。RTCP本身不提供数据加密或身份认证。SRTCP可以用于此类用途。 SRTP & SRTCP 参考文档 RFC3711 安全实时传输协议（Secure Real-time Transport Protocol或SRTP）是在实时传输协议（Real-time Transport Protocol或RTP）基础上所定义的一个协议，旨在为单播和多播应用程序中的实时传输协议的数据提供加密、消息认证、完整性保证和重放保护。它是由David Oran（思科）和Rolf Blom（爱立信）开发的，并最早由IETF于2004年3 月作为RFC3711发布。
E-mail：bryanj@http://biz.doczj.com/doc/dd13555143.html, 译者：Bryan.Wong（王晶，宁夏固原） 译文版本：alpha 0.80 译文发布时间：2007-7-25 版权：本中文翻译文档之版权归王晶所有。可于非商业用途前提下自由转载，但必须保留此翻译及版权信息。 http://biz.doczj.com/doc/dd13555143.html,/filedownload?user=bryanj&id=611206 网络工作组 H. Schulzrinne 请求注释: 2326 哥伦比亚大学. 类别: 标准跟踪 A. Rao Netscape R. Lanphier RealNetworks 1998年4月 实时流协议(RTSP) 本备忘录状态 本文为Internet社区描述了一种Internet标准跟踪协议，还需要讨论和建议以便进行改善。请查看最新版本的"Internet正式协议标准"（STD 1）了解本协议的标准化进程和状态。本备忘录的传播不受限制。 版权声明： 版权为The Internet Society 所有。所有权利保留。 摘要： 实时流协议（RTSP）是应用层协议，控制实时数据的传送。RTSP提供了一个可扩展框架，使受控、按需传输实时数据（如音频与视频）成为可能。数据源包括现场数据与存储在剪辑中的数据。本协议旨在于控制多个数据发送会话，提供了一种选择传送途径（如UDP、组播UDP与TCP）的方法，并提供了一种选择基于RTP (RFC1889)的传送机制的方法。
目录： 1 介绍 1.1 目的 1.2 要求 1.3 术语 1.4 协议特性 1.5 RTSP扩展 1.6 整体运作 1.7 RTSP状态 1.8 与其他协议的关系 2 符号协定 3 协议参数 3.1 RTSP版本 3.2 RTSP URL 3.3 会议标识 3.4 会话标识 3.5 SMPTE 相对时间戳 3.6正常播放时间 3.7 绝对时间 3.8 选项标签 3.8.1 用IANA注册新的选项标签*4 RTSP消息 4.1 消息类型 4.2 消息头
网络视频解码器用户手册 说 明 书
通知；更新的内容将会在本手册新版本中加入。我们随时会改进或更新本手册中描述的产品或程序。 目录 简介 (2) 参数： (3) 外观 (4) 操作 (7) NVS Matrix解码器控制软件简介 (7)
安装NVS Matrix (7) 启动NVS Matrix (9) 顶部菜单栏 (10) 文件选项 (10) 操作选项 (10) 解码器选项 (10) 工具选项 (11) 帮助选项 (11) 分配摄像头 (12) 解码器参数设置 (15) 报警参数设置 (15) 虚拟键盘 (17) 透明串口 (17) 搜索解码器 (18) NVS Matrix主界面操作说明 (20) 网络嵌入式解码器软件升级 (22) 问题解答 (24) 简介 非常感谢您购买我公司的产品。我们将向您提供最好的服务！ 随着计算机技术和信息网络技术的发展，安防监控技术也正在向数字化、网络化的方向发展。数字化、网络化的监控系统已经步入了全数字时代，彻底打破"闭路电视监控系统"模拟方式的结构，从根本上改变了视频监控系统从信息采集、传输处理、系统控制的方式和结构形式。 由公司自主开发的的网络视频嵌入式解码器是网络产品中的一个系列。其主要功能是将经过网络传输的9000系列和网络视频视频服务器的音视频编码数据还原成模拟的AV信号，显示在监视器上。适用于大中型监视系统的控制中心。
产品功能： ?采用嵌入式设计，产品体积小，集成度高，便于组网 ?可还原网络视频服务器及网络摄像机输出的音视频编码信号； ?具有两路独立的音视频输出通道，同时输出两路音视频信号，可应用于多种流行的矩阵主机 中； ?具有一路音频输出接口，可实现与前段视频服务器对讲； ?每个视频通道可以显示4个不同的IP地址，实现在一个监视器上多画面显示； ?具有4路报警输出接口，响应前端视频服务器发回的报警信息； ?配套NVS Matrix控制软件，可实现系统设置和对前端摄像机的控制。 ?支持完全透明的RS232和RS485接口 参数：
资源下载： http://biz.doczj.com/doc/dd13555143.html,/source/444512 实时流协议RTSP(RealTimeStreamingProtocol)是由RealNetworks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP(实时传输）和RTCP（实时控制）之上，它使用TCP或RTP完成数据传输。HTTP与RTSP相比，HTTP传送HTML，而RTP传送的是多媒体数据。HTTP请求由客户机发出，服务器作出响应；使用RTSP时，客户机和服务器都可以发出请求，即RTSP可以是双向的。 实时流协议（RTSP）是应用级协议，控制实时数据的发送。RTSP提供了一个可扩展框架，使实时数据，如音频与视频，的受控、点播成为可能。 RTSP是应用级的协议，完成多媒体服务器的远程控制，控制信息的传输可以使用TCP，控制指令包括如：Setup、Play、Record、Pause、Teardwon等等。 对于流媒体应用，用户和服务器都可以发出请求，请求包括几种连接方法：持久、每个请求/响应传输一个连接、无连接。 常见的URL流媒体地址如： rtsp://http://biz.doczj.com/doc/dd13555143.html,:554 RTP 数据报组成：Header + Payload RTCP：应用程序启动RTP会话时将同时占用两个端口，供RTP和RTCP使用。 如果有必要，RTP使用时可以有两个伴随文档：1）配置文档，定义负载的编码类型和格式。2）负载格式的规范文档。 在流传输过程中，有两类服务完成对流的转发处理： 1）译流服务器Translator，进入的流在流出时发生变化，作用之一是更好地穿越防火墙。 2）混流服务器Mixer，多个流进入，合并后变成一个流流出。 由于进入的流可能有多个源，比如视频会议，会有多个话筒和视频头等等情况，对于RTP来说，就有一个同步化源的问题，因此，RTP协议中用SSRC（Synchronization Source）字段来供Mixer实现同步功能。 Translator的一个作用是多播变成多个单播。 为了提供播放和回放功能，RTP提供时间标签+序列号，在流动的概念中，时间标签是最重要的信息。 RTP报文不提供长度和报文边界的描述。 RTP虽然是传输层协议，但没有在OSI体系中作为单独的层来使用。 RTP是目前解决流媒体实时传输问题的最好办法，如果要开发，可以选择JRTPLIB库。JRTPLIB是一个面向对象的RTP库，它完全遵循RFC 1889设计。JRTPLIB是一个用C++语言实现的RTP库，目前已经可以运行在Windows、Linux、FreeBSD、Solaris、Unix和VxWorks等多种操作系统上。 了解更多RTP参考： http://biz.doczj.com/doc/dd13555143.html,/zouzheng/archive/2008/01/04/38449.html 下面的例子参考jrtplib的example1,加了解析负载的部分。 // RTPClient.cpp : Defines the entry point for the console application. // #include "stdafx.h" #include "rtpsession.h"
数字音视频编解码技术标准工作组知识产权政策
————————————————————————————————作者：————————————————————————————————日期：
数字音视频编解码技术标准工作组知识产权政策 （2004年9月12日第十次工作会议通过实施） (2008年3月29日第二十四次工作会议修订) 第一章、总则 第一条本知识产权政策文件（“知识产权政策”）规定了中国数字音视频编解码技术标准工作组（“工作组”）的与制订A VS技术标准的整个过程及其所产生的标准文 档相关的知识产权的管理规则。 第二条通过签署A VS会员协议，会员书面承诺该会员及其关联者及其工作组成员同意并遵守本知识产权政策的条款。 第三条本知识产权政策是A VS会员协议的必要组成部分，并通过引用纳入会员协议。 第二章、定义 第四条对于在本知识产权政策中使用并且在A VS章程、A VS会员协议和A VS章程细则中已有定义的词语，其含义应遵从有关文件中的定义。以下词语在本知识产 权政策中定义为以下含义： 1、“符合部分”仅指有关产品或服务中实施并符合最终A VS 标准的所有相关规范性要求的特定部分，这些规范性要求应当 在最终A VS标准中明确公开，并且其目的是为了使产品或服 务能够实现该最终AVS标准所定义的解码、编码、发送数字 媒体或识别和实施权利管理。 2、“必要权利要求”是指根据授权或公布专利的所在国法律， 被最终A VS标准的符合部分不可避免地侵权的该专利中的某 一权利要求，且仅限于该权利要求。 专利的某一权利要求被不可避免地侵权，是指该侵权不可能在 实施最终A VS标准时通过采用另一个技术上可行的不侵权的 实施方式予以避免。 必要权利要求不包括，并且许可也不适用于:（1）不符合上文 规定的其他权利要求，即使该权利要求包含在同一件专利中； （2）在最终的A VS标准文档中引用或以参考方式包括在内的 其他标准中涉及的权利要求；（3）制造或使用符合最终AVS 标准文档的任何产品、服务及其部分时可能必要，但没有明确 地在该标准文档中描述的实现技术。 3、“专利”是指许可方或其关联者拥有的或者在无需向非关联 第三方付费的情况下有权许可的，在任何国家授权的任何专 利、可执行的发明证书、授权的实用新型、或公布提请异议的 任何可执行的专利申请或实用新型申请，但不包括外观设计专 利和外观设计登记。 4、“规范性参考文件”是指并非由工作组制定而是通过引用包
《数字音视频处理技术》教学大纲《数字音视频处理技术》教学大纲课程名称:数字音视频处理技术 学时:64 学分:3 课程性质:专业选修课 考核方式:考查 )专业学生开课对象:计算机科学与技术(师范 一. 教学目的与要求 《数字音视频处理技术》是计算机科学与技术(师范)专业的一门应用性较强的专业选修课程。 随着多媒体技术日益成熟，使用数字音视频处理技术来处理各种媒体在师范生以后的工作过程中显 得十分重要。 本课程的目的和要求是: 1. 使学生了解数字音视频技术的基本概念，掌握数字音视频技术的基本原理，具备一定的理论 知识; 2. 使学生掌握专业音视频软件的使用方法，能够进行音视频的采集与编辑操作，并能进行典型 的艺术特效处理。 4. 培养学生的审美能力、艺术创造能力和多媒体技术的实际应用能力。本课程总授课64学时，在第六学期开设，为考查课程，其中理论教学为32学时，实践教学为
32学时。 二. 课程内容及学时分配 章节内容学时 第一章数字音视频处理技术的产生与发展 2 第二章音频技术概述 2 第三章音频处理 8 第四章视频技术概述 2 第五章视频处理 12 第六章音视频处理技术综合应用 6 实验一音视频软件的安装与基本操作 2 实验二音频采集与编辑 4 实验三数字音频特效与合成 6 实验四视频采集与编辑 4 实验五数字视频特效 8 实验六音视频处理技术综合应用 8 合计 64 第一部分理论教学第一章数字音视频处理技术的产生与发展(2学时) 主要内容: 1. 数字音视频处理技术的基本概念; 2. 数字音视频处理技术的产生与发展过程; 3. 数字音视 频处理的主要研究内容;4. 数字音视频处理的软硬件环境。要求: 1. 了解数字音视频处理技术的基本概念、产生与发展过程; 2. 了解数字音视频处理的技术概况和主要研究内容; 3. 了解数字音视频处理的软硬件环境要求; 4. 了解常见的音视频处理软件及其功能特点。
TVSENSE YZX-400EN/DE 网络音视频编解码器 用 户 手 册 南京易之讯科技有限公司 二○○六年四月
TVSENSE 视频编解码器使用手册 目录 一、产品简介 (3) 技术特点 (3) 二、产品结构 (4) 2.1内部布置： (4) 2.2外形尺寸: (4) 三、技术指标 (5) 四、接口说明 (6) 4.1前面板 (6) 4.2后面板 (6) 4.3接口指示说明： (6) 五、接线说明 (7) 5.1网络接线 (7) 5.2音频接线 (7) 5.3视频接线 (7) 5.4控制接线 (8) 六、串口定义 (9) 6.1 串口定义： (9) 6.2 内部跳线： (10) 七、调试软件 (11) 7.1硬件准备： (11) 7.2硬件连接： (11) 7.3软件准备： (11) 7.4设备IP配置DevNetSet (12) 7.5设备管理DevManager (13) 7.5.1设备配对 (13) 7.5.2串口配置 (15) 7.6网络浏览DevVideoBrowser (16) 八．典型应用 (17) 九、产品装箱清单 (18)
序言 ●简介 本音视频编解码器是为适应基于TCP/IP协议和10M/100M以太网传输通道而设计的，采用MPEG2压缩方式，具有强大的即时图像捕捉和图像压缩功能。它利用以太网通道实现实时视频音频传输，并同时提供RS232/485串行数据通信端口，满足远程视频监控、视频会议等系统需要。 注意事项 本说明书提供给用户安装调试、参数设置及操作使用的有关注意事项，务请妥善保管，并为了您的正确、高效地使用本产品，请仔细阅读本说明书。 一、产品简介 技术特点 ●基于MPC860T+OSE（RTOS）的嵌入式设计； ●采用最新MPEG-2优化技术，最小带宽支持1024Kbps； ●以太网传输端到端延时小于180ms； ●提供10M/100M以太网接口，带宽适应范围宽，支持多点对多点同时访问； ●具备同时发送单播包及组播包功能，可支持临时用户加入访问，同时在某些不支持组播功 能的特殊网段中通过单播方式访问； ●双向语音对讲，支持回音抵消功能，独特的以太网方式下双向语音对话设计，适合监控中 心与前端对讲； ●提供两路RS-485/232双向透明串口，可用于远端设备控制及监控数据采集； ●可选集中式机箱，提高集成度； ●与多家同类设备实现互联互通，适应大规模联网监控； ●在各种高温、高尘等恶劣环境下，产品能够正常工作； ●提供相关系统软件，实现网络浏览、虚拟矩阵等功能； ●提供应用程序开发接口（包括WINAPI和ActiveX），方便进行二次开发； ●产品设计生产符合ISO9001标准。