即时通讯优化方案目录前言 (3)第1章当前平台IM技术介绍 (4)WebRTC简介 (4)WebRTC优劣 (4)第2章当前平台IM的突破方向 (5)2.1视音频编解码技术 (5)2.2设备对恶劣网络环境的适应能力 (6)2.3音频处理技术 (8)2.4 IM主流应用功能的开发 (9)研发风险评估 (9)第3章第三方IM方案分析 (10)使用第三方IM流程图 (10)主流的第三方平台 (11)使用第三方平台的优势 (11)环信IM平台 (12)第4章总结 (14)前言本方案产生的背景是纺织服装平台已经初步搭建即时通讯服务，实现Web 视频聊天功能，并经过一段时间的使用测试，对所发现的用户体验问题、多客户端互通问题和技术问题的描述，针对这些问题及对即时通讯功能后续发展规划，做出此优化方案。

IM是(Instant Messaging) 的英文缩写，全称为即时通讯技术，现在比较有名的产品有:腾讯QQ、MSN、微信、中国飞信等等产品，即时通讯是一整套解决方案，其中包括了IM后端服务、IM客户端、硬件配置。

后端的服务由众多的业务系统组成，如：Session存储、用户信息系统、文件管理系统、实时音视频服务、消息处理、推送系统等等构成，是一套业务复杂、流程大的处理方案。

第1章当前平台IM技术介绍当前平台的IM实现是基于WebRTC技术进行构建的，与传统的中心服务型IM技术有根本的不同。

WebRTC简介WebRTC是HTML5支持的重要特性之一，Web开发者能够基于浏览器（Chrome\FireFox\...）轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现。

终端用户通过本机浏览器与信令服务器进行信令信息交换，在获取到足够的信息，自动与其他终端建立通讯链接，实现P2P视频聊天。

WebRTC优劣WebRTC优势WebRTC是HTML5的主要特性，是国际组织W3C制定的行业标准。

目前WebRTC已经得到谷歌、微软、苹果等公司的大力发展并且在普及推广应用。

让苹果、安卓手机使用浏览器进行视频会议成为可能。

WebRTC使用的是P2P技术不占用服务器资源，节省了大笔服务器部署费用。

WebRTC局限性1、由于WebRTC使用的是P2P技术不占用服务器资源，节省了大笔服务器部署费用。

但是受限客户端机器的性能及网络带宽，无法进行大规模的进行视频会议聊天；2、WebRTC是Google提供的基于Chrome浏览器的开源项目。

浏览器市场被几大巨头支配，Google、Microsoft、Apple，中国国内有360、百度、QQ等。

这些浏览器厂商出于利益考虑，会人为的制造技术壁垒。

因此，基于WebRTC开发的项目，在浏览器适配，移动端适配上需要大量深度开发。

3、对于一些服务器功能如视频录制、视频监控等WebRTC有着先天的缺陷，无法很好的完成。

4、与传统中心服务型即时通讯技术相比，WebRTC属于新型的即时通讯技术，由于发展时间较短，其应用技术和配套功能都处于初始阶段，虽然实现了基本的即时通讯功能，但在用户体验与功能多样化上，还有待开发。

第2章当前平台IM的突破方向2.1视音频编解码技术视音频编码技术是视频会议系统的关键技术指标，是影响会议效果的重要因素。

目前视频会议系统中用到的视频编码技术主要有H.261、H.263、H.264、MPEG-2、MPEG-4等，音频编码技术主要有G.711、G.722、G.728、G.729、MP3等。

其中，H.264和MPEG-4这两种视频编码技术能够在低带宽下实现高清晰的动态图像效果，而且编码延时小，作为新一代视频编解码标准，其优势非常明显。

H.264具有许多与旧标准不同的新功能，它们一起实现了编码效率的提高。

特别是在帧内预测与编码、帧间预测与编码、可变矢量块大小、四分之一像素运动估计、多参考帧预测、自适应环路去块滤波器、整数变换、量化与变换系数扫描、熵编码、加权预测等实现上都有其独特的考虑。

而在音频编码方面，MP3是一种高效的声音压缩算法，其频响范围在20Hz 到20KHz之间，采样频率达到44.1KHz，而且支持双声道编码，因此正在获得越来越广泛的应用。

2.2设备对恶劣网络环境的适应能力网络的QoS可以在一定程度上保证视频会议的传输效果，但其作用是很有限的，尤其是在一些较为恶劣的网络环境下。

视频会议系统设备本身对恶劣网络环境的适应能力也将对会议效果产生较大的影响。

这些适应能力包括IP优先权设置、IP包排序、IP包重复控制、IP包抖动控制、丢包重传以及速率自动调整等。

2.2.1 IP优先权（IP Precedence）在网络规划差分服务方式的QoS技术时，可通过多种匹配手段对进入数据网的业务包进行分类，包括IP地址、IP 优先权（IP Precedence）等。

其中，利用IP包中的IP优先权部分可以对音频、视频和RTCP（Multicast）数据流进行优先级划分。

当网络采用IP Precedence进行流量匹配时，可通过视频设备发出的修改过IP Precedence字段信息的视音频包进行入队列处理，以保证视频会议码流的优先传送。

2.2.2 IP包排序通常，网络的尽力传递机制无法保证其转发的数据包的正确次序。

对于H.323视频会议系统，如果视频设备按次序接收IP包，将带来错序问题，数据包的丢失或延迟将导致视频图像的冻结或声音的中断或抖动。

可通过视频设备支持IP包排序功能解决该问题，当IP包到达时，视频设备将对其次序进行验证，无序的包被退回，以维护发送给终端用户的音频和视频流的连续性。

2.2.3 IP包重复控制一个IP包经过承载网时可能会产生多个重复的副本，或为了适应恶劣网络环境系统可能采用重传机制时也会产生多个重复的副本，这样将引起视频图像的冻结或声音中断。

支持IP包重复控制的视频设备可通过该功能来纠正该错误，以维护发送给终端用户的音频和视频流的连续性。

2.2.4 抖动控制当音频和视频IP包离开发送端时，按照规则的间隔均匀的排列。

在通过网络之后，这一均匀的间隔因不同的延时大小而遭到破坏，从而产生抖动。

抖动会导致目标终端上音频和视频流的不连贯性。

支持抖动控制的视频设备可通过抖动缓存来实现抖动消除，以维护终端用户接收到的音频和视频流的连贯性。

2.2.5丢包重传当网络拥塞严重时，网络设备（如路由器）会根据缓存大小并配合相关处理机制丢掉一些视频包，视频会议系统中视频包是采用UDP协议进行传输的，而UDP本身没有重传机制，因此会导致接收端出现图像丢帧或马赛克现象。

支持丢包重传的视频设备可通过添加丢包检测和重传的机制来保证会议图像的连贯性。

2.2.6自动速率调整技术在一些恶劣的网络环境下，降低会议码率将有助于提高视音频的连贯性和实际效果。

如果视频设备支持动态速率调整技术，可以使终端和MCU能通过检测网络上有利和不利的因素来自动适应网络的容量和性能，通过动态调整视频会议的码率，为终端用户提供尽可能好的视频质量。

视频设备的自适应带宽调整功能主要是通过检测数据包丢失率来实现的。

如果终端检测到数据包丢失率超过了指定的阀值，它将自动降低视频会议码率，同时通知其它参会终端做相同的动作，从而提供一个具有最优视音频效果的会议码率。

2.2.7唇音同步技术视频会议系统中视频信号和音频信号是分别编码、分别传输的，由于IP优先级和视音频包大小等因素的影响，会使视音频的同步包到达顺序不同，引起唇音不同步。

影响唇音不同步主要有两种因素：网络传输时延和视音频处理时延不同。

当音频和视频包离开发送端时，音频包与对应的视频包保持同步。

但是，在通过承载网时，各种队列算法会对音频资料包和视频资料包进行不同的处理。

这将打乱音频资料包与相应的视频资料包的同步关系。

最终的结果导致声音与口型失去同步。

支持唇音同步的视频设备可通过使用IP包中的RTP时间戳信息来纠正这一问题。

利用RTP时间戳，设备能够确定哪一音频包与哪一视频包对应。

进一步重新调整相应的视音频包，以保证声音与口型的同步。

在发送端，处理音频所花费的时间不同于处理视频所花费的时间。

影响这一问题的因素包括声速与光速的不同、房间的大小和形状、音频和视频编码的算法的复杂性。

为了避免时间差，支持唇音同步的设备可通过在音频流的出发点增加一定的延迟，以获得声音与口型的同步；也可在接收端增加或减少音频延迟，以纠正发送端不恰当的延迟设置。

这样就保证远程会场在接收视频会议声音和图像时，实现唇音同步。

2.3音频处理技术2.3.1自动回声抑制召开多点视频会议时，每一个会场的声音编码器都将音频包向MCU传输，而MCU将发言会场的音频包向所有其他会场广播，当视频会议终端接收音频包时，将解码后的音频流与本地输入的音频流进行电平比较，去掉相同的部分，这样本地的声音就不会在自己的会场扬声器传出，引起音频的振荡，从而避免回声。

2.3.2自动增益控制由于优先视频会议使全向式麦克风，放置在会场的中心位置，这样每一个发言人由于距离麦克风的位置不同，麦克风接受到的电平也不同。

为了保证传向远程的音频电平的平稳，在进行编码时要进行音频的增益处理，以保证一定范围内的发言人以同一个音调发言，这样远程会场的声音就不会忽高忽低。

2.3.3背景噪音消除召开会议时不可避免地会有一些环境噪音，例如空调、风扇、交流电等电器设备持续发出的环境噪音，这些声音严重的影响了会议的音频质量。

自动噪声抑制系统会根据音频的高低、持续情况，判断是否为环境噪音，并且进行处理，以达到良好的声音会议效果。

2.4 IM主流应用功能的开发当前主流的IM服务普遍可实现以下功能：1.单聊；2.群聊；3.富媒体消息（包含文字、表情、语音、地理位置、照片、视频、名片、自定义消息等）；4.消息回执；5.离线消息；6.离线消息推送；7.实时音频；8.实时视频；9.不同客户端通讯（如Web和APP之间的通讯）；10.单用户离线消息保存；11.群聊离线消息保存；12.敏感词过滤；13.反垃圾服务；14.多端同步（用户的在线消息在不同平台如Web和APP之间实时同步）；15.多设备同步（用户在同一平台可同时登录多个设备并且在线消息在这些设备之间实时同步）；16.消息优先通道；17.红包功能。

研发风险评估音视频技术开发涉及面广，开发周期长，从以上IM的突破方向看，无论是底层通讯技术研发，还是前端应用功能研发，都需要大量的时间及人力。

借鉴当前主流IM开发公司的公开信息可以看出，其开发团队规模在100-500人之间，开发周期2年以上（初版）。

面对目前互联网发展的步伐，IM技术也日新月异，在这个用户为王的时代，功能和体验无疑是IM能否吸引用户使用的关键，从头开发一套完整的IM方案，去追赶现有专注于IM的主流上市公司，技术研发压力是巨大的。