基于H.264的视频编码的研究及软件实现 (毕业设计54页、23946字 +图 +程序)
摘要：H.264视频编码标准是2003年5月获得批准的新一代视频编码国际标准。同以往标准相比，它采用了许多新技术，例如1/4，1/8精度的子像素运动估计，多参考帧技术，去块滤波，加强的熵编码，小块的整数变换等来提高编码效果，但这些技术同时也增加了H.264编码器的复杂度，限制了H.264在很多领域尤其是实时领域的应用。H.264优异的编码性能对于市场具有极大的诱惑力，而研究H.264编码的快速算法及其实现是H.264走向市场的前提和保证，因此对H.264视频编码算法进行优化具有十分重要的理论意义和实用价值。本文首先对H.264标准进行了深入分析，了解H.264语法流的结构，从总体上把握了H.264编码框架，并对H.264框架中的各个模块中的关键技术进行了详细的阐述。然后对影响编码效果的参数进行不同的配置来进行编码测试，并对编码结果进行分析，得出了一个对编码效果影响较小的实时编码参数集。其次，对几种运动估计算法进行了详细的阐述，分析实现了几种主流的运动搜索算法并对它们进行了比较，并选择全搜索法集成到编码器中，最后，根据前面的理论知识，本文以JM参考模型为基础实现了H.264的编码器。

关键词：H.264；视频编码；帧内预测；运动估计

 
Research and Software Realization of Video Coding based on H.264
ABSTRACT：Video coding standard H.264 is a new international video coding standard approved on May, 2003. Its excellent coding performance has a great attraction to the market. Research and implement of fast coding algorithm of H.264 are the precondition and guarantee for the market application of H.264, so the optimization of H.264 coding has a great theoretical significance and applicable value.First in this paper we deeply analyse the standard H.264 and its syntax structure to grasp the coding framework as a whole, and exactly expatiate on key technology of each module in H.264 frame. Then tests and analysis are made on the different configured parameter sets which affect coding efficiency apparently and a parameter set with less influence on its real-time coding effect is gotten. Second, it explains, analyzes and compares several main motion estimation algorithms concretely, and the full search algorithm is chosen to be integrated into the encoder. Finally, this paper has accomplished the H.264 Encoder on the basis of the frontal theory and the renferential model JM.
Key words: H.264, Video coding, Intra-prediction, Motion estimation
 
目 录
第1章  绪 论 1
1.1  课题研究目的及意义 1
1.2  视频编码标准 1
1.3  H.264国内外研究应用概况及发展趋势 3
1.4  论文的主要研究内容及章节安排 4
1.4.1  主要研究内容 4
1.4.2  全文章节安排 4
第2章  H.264视频编码原理 5
2.1  H.264的档次分类 5
2.2  H.264视频编码标准的结构框架 6
2.2.1  H.264的功能分层 6
2.2.2  H.264的数据结构 7
2.2.3  H.264的编解码流程 8
2.3  H.264的核心技术 10
2.3.1  帧内预测 10
2.3.2  帧间运动预测补偿 10
2.3.3  变换和量化 13
2.3.4  熵编码 15
2.4  本章小结 16
第3章  H.264运动估计研究 17
3.1  运动估计及相关技术 17
3.1.1  块匹配准则选取 17
3.1.2  搜索策略 18
3.2  主要的搜索策略 18
3.2.1  全搜索方法（FS，Full Search） 18
3.2.2  菱形搜索法（DS，Diamond Search） 19
3.3  帧间运动估计 21
3.3.1  树形结构运动估计 22
3.3.2  运动向量预测 23
3.3.3  参考帧的选择实现 24
3.3.4  运动矢量搜索实现 25
3.4  帧内运动估计 25
3.5  本章小结 30
第4章  编码器的实现 31
4.1  编码器的设计 31
4.2  编码器采用的核心算法 31
4.3  编码器中包含的文件 32
4.4  模块初始化设置 32
4.5  编码模块 33
4.5.1  三种帧编码过程 33
4.5.2  帧内预测代码实现 35
4.5.3  整数变换代码实现 38
4.6  编码器说明 42
4.7  编码器测试 44
4.8 本章小结 46
结  论 47
致  谢 48
参考文献 49
 
第1章  绪 论
科学技术的进步，特别是信息领域日新月异的发展，正深刻地改变着人类的生活和工作方式。信息化的一个主要特征就是多媒体技术的广泛应用，在过去十年左右的时间里，人们在多媒体表示和通信领域取得了惊人的进展。数字多媒体的压缩和通信算法取得了显著进步，使得诸如视频会议、巨量多媒体数据存储、数字电视广播、基于网络的流媒体的传输和播放等视频多媒体应用不断普及与发展。反过来，这些多媒体应用的普及与发展也对数字多媒体的压缩和通信算法提出了许多新的更高的要求。目前，图象和视频的编码传输已成为商业、军事和学术界的一个研究热点。
1.1  课题研究目的及意义
数字化、信息化的时代给我们的生活、学习等方面带来了许多的好处，同时也给我们带来了许多棘手的问题。信息时代的重要特征是信息的数字化，数字化了的信息带来的“信息爆炸”。多媒体计算机系统技术是面向三维图形、立体声和彩色全屏幕运动画面的处理技术。数字计算机面临的是数值、文字、语言、音乐、图形、动画、静图像、电视视频图像等多种媒体承载的由模拟量转化成数字量信息的存储和传输的问题。数字图像的数据量非常巨大，这给存储器的存储容量、通信信道的传带宽增加极大的压力。虽然网络有效带宽变得越来越宽，但是随着网络用户的增加。单靠改进网络的带宽，是解决不了视频传输的问题的。因此，有效的压缩视频信号是视频传输的核心部分。采用先进的视频编码技术将视频信号的数据量进行压缩，不但可以节省存储空间，还能提高通信的传输效率，这为视频通信业务的发展打下了雄厚的基础。
 随着低码率视频应用的不断增多，尤其是网络视频、无线视频以及可视电话等不同场合的应用，特别是H.264编码标准的越来越成熟和完备，人们对低码率视频压缩编码方法的研究将越来越关注。低码率视频压缩编码将会给我们带来很多的好处。
1.2  视频编码标准
随着视频技术的发展，视频标准化也被各大国际组织提上议事日程，这些国际组织中以国际标准化组织（International Standardization Organization. ISO）、国际电子学委员会（International Electronics Com-mittee，IEC）和国际电信联盟（International Telecommunication Union，ITU）影响力最大。在1988年ISO/IEC成立了活动图像专家组（Moving Picture Expert Group，MPEG），活动图像专家组陆续推出了五种MPEG标准。同时，ITU组织下属的研究小组视频编码专家组（Video Code Expert Group， VCEG）也推出了四种H.26X标准[1]。通过这些国际组织和产业界的大力推动，目前这些标准在多媒体领域得到了广泛的应用。
从20世纪40年代末开始，视频编码技术己经走过了半个多世纪的发展历程。从50年到60年代基本方法的探讨，到70年代早期可视电话的研究，使得这一领域有了长足的进展，许多基本的思想和方法都相继提出。到80年代前后，顺应信息化的大趋势，面向各种应用的研究相继开展起来。进入90年代后，随着技术的不断发展，ITU-T和ISO/IEC按时间的先后顺序推出了包括H.261，MPEG1，MPEG2，H.263， MPEG4与其正在发展的H.264/AVC等一系列视频编码标准。现有的两大主流视频编码标准ITU-T的H系列和ISO/IEC的MPEG系列，它们的发展历史如图1-1所示：
 
                        图1-1  视频编码标准的发展
    H.261是最早出现的视频编码建议， 目的是规范ISDN网上的会议电视和可视电话应用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗余的DCT变换的混合编码方法。其输出码率是p× 64Kbit/s。
    MPEG1由ISO/IEC于1991年制定，是一般基础应用的视频、音频编码标准，它主要针对352×288分辨率和30F/S的图像质量。
    1994年发布的MPEG2通常认为是MPEG 1的加强版本，主要针对MPEGI最初没有包括在内或尚未估计到的应用。它支持的带宽范围从2Mbps到超过20Mbps，且与MPEG 1兼容，并增加了对隔行扫描的支持，具有更大的伸缩性和灵活性。目前MPEG2标准在数字电视和HDTV领域得以广泛应用。
    H.263是ITU-T于1995年提出的更低比特率的视频编码方案。它可将图像最低编码到20Kbps。其图像质量达到176×144或128×96分辨率下的5 ~15 F/S的水平。H.263非常适合在固定带宽的信道中传输视频信号。
 MPEG4于1998年推出，其应用目标是：窄带宽下进行传输、具有高画质高压缩比、良好的交互性以及将自然物体与人造物体相溶合的表达方式，同时还特别强调了广泛的适应性和可扩展性。MPEG4的最高图像清晰度为768×576，远优于MPEG 1的352×288，可以达到或接近DVD的画面效果，这使得它的图像高清晰度非常好。但是由于算法的复杂性和局限性，在窄带情况下不易实现编码的实时性，尤其在针对低于1 Mbits传输时遇到了困难。
 H.264是由ISO/IEC与ITU-T组成的联合视频组（JVT）制定的新一代视频压缩编码标准，在早期也称之为H.26L。这一标准正式成为国际标准是2003年3月在泰国Pattaya举行的JVT第7次会议上通过的。由于该标准是由两个不同组织共同制定的，因此有两个不同的名称，在ITU-T中，它的名字叫H.264，而在ISO/IEC中，它被称为MPEG4的第10部分，即高级视频编码（AVC）。H.264同H.263或MPEG4相比具有更高的压缩比、更高的视频质量、更好的网络错误恢复功能等。
1.3  H.264国内外研究应用概况及发展趋势
    作为一种新的国际标准，H.264在编码效率、图像质量、网络适应性和抗误码方面都取得了成功。但随着终端和网络的快速发展，对视频编解码的要求在不断提高，因此H.264仍在继续地完善和发展以适应新的要求。现在对H.264的研究主要集中对H.264标准某一特定技术进行改进或优化，例如结合H.264的编码特点针对更有效的运动估计算法的研究，针对宏块模式选择算法研究，针对多参考帧下的搜索算法改进等等，以期进一步降低编解码时延、算法优化和进一步提高图像质量[2]。但是，对H.264快速实现进行综合研究的学术论文还比较少见。
近三年多来，H.264/AVC作为技术标准不仅出现在不同的行业应用中，而且也为各个国家、各个组织广泛采用。2004年3月，日本最大的六家电视广播公司决定采纳H.264视频编解码标准，用于向移动终端发送数字电视广播；2004年6月，DVD论坛正式批准了HD_DVD光盘物理格式版本1.0，H.264成为主要的编码格式之一；2004年9月，新一代光盘规格之一的蓝光光盘组织宣布将正式支持影像编码技术H.264；2004年11月，DVB组织正式批准接纳H.264为下一代SDTV，HDTV编码标准之一：2003-2004年H.264被第三代合作伙伴计划（3GPP，3rd Generation Partnership Project）逐步采纳。由于ITU在电信领域，MPEG和DVD组织在家用数字AV产品领域（如DVD，VCD），DVB组织在数字电视领域（DTV，HDTV），3GPP在下一代移动通信领域都有着不可撼动的地位，他们均得到国际工业界数百家大公司的支持，可以想见，在这些行业巨擎的推动下，H.264技术的应用将迅速进入到视频服务、媒体制作发行、固定及移动运营网络、平台开发、设备终端制造、芯片开发等多个领域。
1.4  论文的主要研究内容及章节安排
1.4.1  主要研究内容
本文从H.264编码标准入手，熟悉视频编码的基本思想和原理，学习编码理论，奠定开展课题的初步基础。学习H.264/AVC标准，掌握H.264基本框架，深入剖析基于H.264/AVC标准的编码原理和关键算法。特别对H.264编码的关键技术进行了研究。根据图象的运动特性，对运动估计算法进行了研究，研究了运动估计的几种搜索策略，并对参考帧的选择算法和运动估计的搜索算法编程实现。最后，在对视频编码原理和H.264的总体框架有了深入的了解之后，根据H.264关键技术的优越性，JM（Joint Model）代码的参考模型，分别选择全搜索算法（FS，Full Search）及菱形搜索法（DS，Diamond Search），实现H.264编码器软件实现。并对测试序列进行分析。
1.4.2  全文章节安排
第一章是全文的绪论部分，介绍了数字视频压缩的背景和多媒体数据压缩标准的发展，对H.264视频压缩标准的国内外研究现状作了说明，最后对本文的主要工作和内容安排作了介绍。
    第二章主要对H.264视频编码的原理进行了介绍和分析。首先介绍了视频编码的必要性及视频编码的基本原理，对H.264视频压缩标准的基本框架作了总体概述，在把握了基本框架的基础上，对H.264框架中的各个模块中的关键技术进行了详细的阐述。
    第三章研究了基于H.264的运动估计快速算法。重点研究了运动估计的几种搜索策略，并对帧间、帧内运动估计进行了分析。
    第四章通过JM代码的参考模型，实现了H.264的编码器。在编码器的运动估计部分。分别采用了全搜索算法及菱形搜索法，对用两种搜索法的优缺点进行比较分析。并采用四个典型图像序列的测试对编码器的性能进行说明。
最后结论部分归纳出本文的主要工作和研究成果，对研究中遇到的若干问题进行了反思，并对未来的研究工作给予了展望。