基于H.264的视频解码的研究及软件实现 (毕业设计67页、21349字 +图+程序)
摘要：随着Internet和移动通信的迅猛发展，视频信息和多媒体信息在Internet网络和移动网络中的处理和传输成为了当前我国信息化中的热点技术。国际电信联盟远程通信标准化组和运动图像专家组两者合作成立联合视频组于2003年第二季度发布了统一标准H.264/AVC。本文对H.264编码标准中的解码部分内容进行分析，对其中的帧内预测、运动补偿、帧间预测、变换系数解码等关键技术算法作了详细的研究和介绍。在对H.264算法的优化研究中，采用耗时较少的快速运动估计算法。本文在官方测试源码JM10.2的基础上尝试在VC++开发工具中编程实现H.264编码标准的解码部分。解码后的数据显示：压缩视频被解码后保留了原图像的质量，而且数据丢失量小。
关键词: H.264/AVC标准；视频压缩；H.264/AVC解码器；Visual C++设计
The Research And Realization Which Based On The H.264 Video Decoding
Abstract：With the development of internet and mobile communications rapidly, to process and transmission of video and multimedia information in the internet and mobile networks became the hot technologies in Chinese informationization. ITU Telecommunication Standardization Group and the Moving Picture Expert Group set up H.264/AVC standards in the video section in the second quarter of 2003. In this paper, the author analyzed the decoder part of the H.264 coding standard, researched and introduced for the intra predication, motion compensation, inter predication, transform coefficient detailedly. And the Fast Motion Estimation Algorithm was used in the optimization study of the H.264 algorithm. Based on the official test source JM10.2, the author tried to programme to achieve the part of decoder by using the Visual C ++ programming tools. The date of decoding shows that: the video after decoding retained the original image quality, but the date loss lessness.
Key words：H.264 /AVC coding standard, Video compression, H.264 /AVC decoder, Visual C ++ design
目录
第1章 绪 论 1
1.1 课题背景 1
1.2 H.264标准的发展及现状 1
1.3 选题目的及每章安排 4
第2章 视频编解码原理 6
2.1 视频压缩编码的目标 6
2.2 视频压缩的编码方式 6
2.2.1 预测编码 6
2.2.2 变换编码 7
2.3 视频压缩编码技术综述 7
2.3.1 基本结构 7
2.3.2 基于波形的编码 8
2.3.3 基于内容的编码 8
2.3.4 H.264解码器结构 8
2.4 本章小结 9
第3章 变换系数解码 10
3.1 变换系数解码原理 10
3.2 变换系数逆扫描过程 11
3.3 DCT变换系数中直流系数的逆变换量化 12
3.3.1 帧内预测模式宏块的亮度直流变换系数 12
3.3.2 色度直流变换系数的比例变换 13
3.3.3 残差变换系数的反量化 13
3.3.4 残差变换系数的逆DCT变换 14
3.3.5 去方块滤波前的图像恢复与重建 14
3.4 本章小结 14
第4章 H.264 运动估计与补偿 15
4.1 运动估计过程 15
4.2 快速运动估计算法(FMEA) 16
4.2.1 FMEA 简介 16
4.2.2 利用空间相关性预判码块划分模式 17
4.2.3 利用时域稳定性预判参考帧的数量 17
4.2.4 FMEA 具体步骤 18
4.3 本章小结 18
第5章 H.264解码器帧内、帧间预测算法 20
5.1 帧内预测 20
5.1.1 4x4亮度块预测方式的提取 20
5.1.2 4x4亮度块的帧内预测编码方式 21
5.1.3 16x16亮度块的帧内预测方式 27
5.1.4 8x8色度块的帧内预测方式 29
5.2 帧间预测 31
5.3 本章小结 32
第6章 H.264解码器方案实现 33
6.1 H.264解码器实现方案的选择 33
6.1.1 H.264解码器常用方案介绍 33
6.1.2 基于专用芯片的结构方案 33
6.1.3 DSP结构方案 33
6.1.4 本次设计使用方案 34
6.2 VC++平台下H.264解码器方案 34
6.3 VC++平台下H.264解码器方案的实现 35
6.4 本章小结 40
结 论 ………………………………………………………………………………42
致 谢 ………………………………………………………………………………43
参考文献 44
附录1 H.264参数设置 46
附录2 decoder程序代码 47
第1章 绪 论
1.1 课题背景
数字视频技术在通信和广播领域获得了日益广泛的应用，特别是90年代以来，随着Internet和移动通信的迅猛发展，视频信息和多媒体信息在Internet网络和移动网络中的处理和传输成为了当前我国信息化中的热点技术。
众所周知，视频信息具有一系列优点，如直观性、确切性、高效性、广泛性等等。但是视频信息量太大，要使视频得到有效的应用，必须首先解决视频压缩编码问题，其次解决压缩后视频质量保证的问题。这两者是相互矛盾的，是矛盾的两个方面。我们需要的是既要有较大的压缩比，又要保证一定的视频质量。
目前，我国已成为规模上世界第一的通信大国。电话（包括固定和移动电话）的普及率已达到30％。宽带网络正在不断建设中，8纵8横的光纤构成了我国骨干网。以MSTP（多业务传输平台）技术为主的城域网正在大力建设，以ADSL为主的宽带接入网也迅速发展。而我国信息化的瓶颈在信息资源的开发和利用。信息资源中，视频信息的开发、利用更具有重要的理论意义和应用价值。
90年代初以来，我国的会议电视获得了巨大发展，短短几年，从最初的一个中央到各省的会议电视骨干网，逐步发展为铁道、电力、石油、公安多系统、各省以至各地县约数千个的会议电视网。
90年代Internet的迅猛发展，导致IP技术应用普及到各个方面，网上教育、远程医疗、电子商务、电子政务、电子游戏、网上证券等等如雨后春笋。一句话，IP视频通信已十分引人注目。
1.2 H.264标准的发展及现状
随着NGN､3G及3G演进和NGBW等对视频､多媒体业务与网络应用的飞速发展需求，作为视频业务及存储应用核心技术的高效率视频数字压缩编(译码)技术，愈来愈引起人们的关注，成为目前广播､视频与多媒体通信领域中的亮点与热点｡
制定视频编码标准的两大组织为ITU-T（International Telecommunication Union-T for ITU Telecommunication Standardization Sector）的视频编码专家组及ISO/IEC的活动图像专家组(MPEG：MPEG: Moving Image Experts Group）｡ITU-T于1993年制定了第一个视频编码标准H.261，其输出速率为p×64 kbit/s，主要用于ISDN及ATM等准宽带及宽带信道视频，不适宜于PSTN及移动通信等窄带及带宽有限的信道与网络上应用｡为满足低速率视频通信需要，ITU-T于1996年又推出了适合在小于64 kbit/s速率的信道上传输的视频编码标准H.263｡1998年又推出了H.263的第二版H.263+，提供了12种可选模式及其他特征，进一步提高了压缩编码性能;同时又开始制定进一步改进性能的近期与远期目标｡其近期目标即为2000年制定的H.263第三版H.263++，其远期目标即所谓标准H.26x，为H.264标准的制定奠定基础｡
在ITU-T推出H.26x系列标准的同时，ISO/IEC主导的相应视频编码标准，包括其业务管理在内，亦在积极推进，形成了众所周知的MPEG-x系列标准(MPEG-1､MPEG-2､MPEG-4､MPEG-7及MPEG-21等)，并获得了较广泛运用｡2001年，MPEG认识到H.26L的潜在优势及与VCEG联合工作的必要性，从而两者合作成立联合视频组(JVT：joint video team)｡2001年9月，在JVT的第一次会议上制定了以H.26L为基础的H.264标准草案和测试模型TML-9｡2003年3月，在泰国Pattaya举行的第七次JVT会议上，JVT形成了最终标准草案，分别提交ITU-T及ISO/IEC审批，从而形成了2003年第二季度发布的统一标准H.264/AVC｡该标准在ITU-T称为H.264;在ISO/IEC则称为MPEG4-Part 10 AVC(Advanced Video Coding，第10部分，先进视频编码)｡这便是H.264/AVC的基本由来｡
H.264/AVC在压缩编码效率､视频内容自适性处理能力方面及网络层面，特别是对IP网络及移动网络的自适应处理能力､抗干扰能力与稳定性等方面，相比H.263/MPEG-4均有大幅度提高，因而自2003年未以来，视频业界一些厂商与人士开始对H.264/AVC寄予极高的期望，甚至达到近乎狂热般追捧的境地｡不是说高的期望值不对，H.264/AVC的应用确属相当广泛，包括固定或移动的可视电话､移动电话､实时视频会议､视频监控､流媒体､多媒体(超媒体)视频､Internet视频及多媒体(超媒体)､IPTV､手机电视､宽带电话以及视频信息存储等，但对其成熟过程､复杂性及指定时期内的确切市场定位，亦必须要有一个冷静､理智的估计，才能确保其积极､稳妥､科学､务实地健康发展｡
H.264/AVC包含了一系列新的特性:
（1）视频编译码结构的分层设计
视频编译码结构从功能和算法上分为两层设计，即视频编码层(VCL)及网络适配层(NAL)｡VCL负责高效率视频编码压缩;NAL负责网络的适配，即提供对不同网络性能匹配的自适应处理能力，它针对下层网络的特性对数据进行封装，包括成帧､发送相应信号给逻辑信道､利用同步信息进行处理等｡NAL从VCL获得数据信息，包括头信息､段结构信息及实际净荷信息，进而将它们映射到下层的各传输协议上｡这些协议诸如H。320､H。323､H。324､MPEG-2等｡NAL单元按RTP序列号顺序传送，序列号设置可发现丢失的是哪一个VCL单元，即使基本编码图像丢失，借助冗余编码图像，仍可获得较“粗糙”的图像恢复｡同时，借助图像的片(Slice)､片组､宏块(MB)结构及黑白宏块非扫描顺序的灵活宏块顺序(FMO)，安排与切换P帧(SP)､切换I帧(SI)的流切换､流拼接､随机接入与差错恢复等，都有利于提高其误码掩盖及抗干扰能力，并有助于压缩效率的提高｡NAL层的引入，大大提高了H.264/AVC对不同网络及复杂信道的适应能力｡
（2）统一的可变长度编码(UVLC)码表
以往标准的熵编码通常采用变长度的哈夫曼编码，其码表不统一，不能适应变化多端的视频内容，从而影响编码效率的提高｡在此，即对H.263不同系数采用不同码表进行VLC作了改进，采用了一个统一码表的UVLC，同时，又对H.26L中的VCL方法进行了改进，使量化后的DCT变换系数使用基于内容的自适应可变长度编码(CAVLC)，此外还定义了一种基于上下文内容的自适应二进制算术编码(CABAC)，其性能比CAVLC更好，当然计算更复杂｡从而，借助UVLC､CAVLC及CABAC较好地提高了压缩编码效率｡
（3）自适应帧､场编码(AFFC)
帧中邻行空间相关性强，场中邻行时间相关性较强，从而帧编码可用于运动性较小图像编码，而场编码可用于运动性较大图像编码｡按此根据图像运动状况选择编码模式即构成图像自适应帧､场编码(PAFFC)，以提高编码效率｡进而，若一帧内包含一些运动快慢不同的区域，还可将此区域划分～为“宏块对”进行AFFC，此时即称为宏块自适应帧､场编码(MBAFFC)｡
（4） 4×4块的整数变换
H.264/AVC中的DCT变换与H.263中的情况不同，它采用的变换单位不是8×8块，而是4×4块，且变换是整数操作，而不是实数操作｡其优点为:运算速度快､精度高并占用较少内存｡整数操作，编译码有严格的反变换，避免了截取误差，减少了运动边缘块的编码噪声｡同时，4×4变换比8×8变换产生的方块效应亦要小｡
为进一步利用图像的空间相关性，在对色度分量预测残差及16×16帧内预测的预测残差进行DCT变换后，还对每个4×4变换系数块中的DC系数组成的2×2和4×4大小的块进一步做哈达玛(Hadamard)变换，以更好改善性能｡
（5）帧内方向空间预测
由于单个图像帧内有较高空间冗余度，在空间域上进行帧内方向空间预测可获得更高压缩效率｡对亮度预测通常取INTRA-4×4及INTRA-16×16两种方式，对图像中较平坦部分采用INTRA-16×16方式，对细化图像部分用INTRA-4×4块预测｡预测前，对当前块相邻的左､上重构块进行分类，根据不同分类，选择不同预测模式｡INTRA-4×4共有9种预测模式，INTRA-16×16共有4种预测模式，对色度预测按INTRA-8×8块进行，亦共有4种预测模式｡从而，精细的帧内方向空间预测可有效提高预测质量｡
这样，H.264/AVC的精细数字压缩编码技术取得了优良的压缩效率｡测试结果表明:它比H.263++的平均编码比特率要少48.80%，比MPEG-4 ASP要少38.62%，相对H.263约提高了一倍压缩效率，很具吸引力｡
H.264 除了具备以上的新特点外还具备柔性宏块排序、整数变换、分层编码、错误约束机制、错误掩盖技术及高效的比特流切换技术等等。
H.264 的应用目标广泛, 可满足各种不同速率、不同场合的视频应用, 具有较好的抗误码和抗丢包的处理能力。H.264(先进的视频编码)已经被作为下一代高清晰度DVD 的标准,这种编解码技术的普及正日益增长。世界各国的各种不同组织纷纷在不同的服务中采用H.264。蓝光协会(BDA) 制订的蓝光光盘Blue-ray Disc 格式,美国的ATSC 标准组织正在考虑可能在美国的电视广播中采用H.264, 韩国的数字多媒体广播(DMB) 服务将采用H.264, 在日本使用数字广播集成服务ISDB-T提供的移动分区地上广播服务也将使用H.264 编解码器等等。H.264 将很可能被各种视频点播服务(VOD for video-on-demand) 使用, 用来在互联网上提供电影和电视节目直接到个人电脑的点播服务。
1.3 选题目的及每章安排
本次毕业设计要求使用Vc++实现基于H.264编码技术标准的解码。需要达到以下的目标：
（1）通过本毕业设计，深刻理解和掌握h.264视频解码法；
（2）熟练掌握VC＋＋平台下编程调试技术；
（3）编程实现基于h.264视频解码。
在接下来的第2章中将主要介绍视频编解码原理。在第3章中将详细变换系数解码。在第4章中将对H.264 运动估计与补偿进行算法的研究。第5章主要介绍H.264解码器帧内、帧间预测算法。最后在第6章中将对程序的调试和结果进行讨论。
|
