1.绪论
1.1 论文背景
模式识别，即用计算机的方法来实现人的模式识别能力，更具体地说，就是实现人对各种事物或现象的分析、描述、判断和识别，是信息科学和人工智能的重要组成部分。一般认为模式识别方法最大的实用性在于智能仿真，它在我们的日常生活中随处可见。例如，机器人辅助生产线、医疗诊断系统、经济发展预测系统、地球资源探测系统、卫星数据分析系统等都是它的应用领域。模式识别的普及促进了很多特定领域方法学的发展，丰富了与其他学科的联系。
传统统计模式识别的方法都是在样本数目足够多的前提下进行研究的，所提出的各种方法只有在样本数趋向无穷大时其性能才能有理论上的保证。而在多数实际应用中，样本数目通常是有限的，这时很多方法都难以取得理想的效果。统计学习理论为研究有限样本情况下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架，同时也发展了一种新的模式识别方法——支撑向量机（Support Vector Machine），它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。虽然统计学习理论和支撑向量机方法中尚有很多问题需要进一步研究，但很多学者认为，它们正在成为继模式识别和神经网络研究之后机器学习领域新的研究热点，并将推动机器学习理论和技术有重大的发展[1]。
与传统方法相比，支撑向量机具有很强的优势，它将分类问题转化为二次规划问题，而这种转化的优点有：
支撑向量机专门针对有限样本情况，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值。算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题。
......

目 录

1.绪论----------------------------------------------------------------------5
1.1论文背景-------------------------------------------------------------5
1.2论文研究内容---------------------------------------------------------6
2.模式识别系统--------------------------------------------------------------8
2.1模式识别系统概述-----------------------------------------------------8
2.2支撑向量机在模式识别中的应用----------------------------------------10
3.统计学习理论和支撑向量机原理---------------------------------------------11
3.1统计学习理论的主要内容----------------------------------------------11
3.1.1 边界理论与VC维-----------------------------------------------11
3.1.2 推广误差边界--------------------------------------------------11
3.1.3 结构风险最小化原理--------------------------------------------12
3.2支撑向量机的原理----------------------------------------------------14
3.2.1 最优分类面----------------------------------------------------14
3.2.2 线性可分情况--------------------------------------------------15
3.2.3 线性不可分情况------------------------------------------------17
3.2.4 非线性情况----------------------------------------------------18
4.支撑向量机快速训练算法及其实现-------------------------------------------19
4.1支撑向量机训练算法的研究现状----------------------------------------19
4.2 SVMlight算法----------------------------------------------------------20
4.2.1算法的基本思想-------------------------------------------------20
4.2.2算法原理-------------------------------------------------------21
4.3 SMO算法-------------------------------------------------------------25
4.3.1算法的基本思想-------------------------------------------------25
4.3.2算法原理-------------------------------------------------------25
4.4 BSVM算法------------------------------------------------------------29
4.4.1算法的基本思想-------------------------------------------------29
4.4.2算法原理-------------------------------------------------------30
4.5 LIBSVM算法----------------------------------------------------------31
4.5.1算法的基本思想-------------------------------------------------31
4.5.2算法原理-------------------------------------------------------31
4.6四种算法的比较实验---------------------------------------------------34
5.一种超大规模训练问题的解决方法-------------------------------------------38
5.1四种算法的优缺点分析------------------------------------------------38
5.2大规模训练问..

1.边肇祺，张学工，模式识别（第2版），北京：清华大学出版社，1999.12.
2.Richard O. Duda and Peter E. Hart and David G. Stork，李宏乐，姚天翔译，Pattern Classification，北京：机械工业出版社，2003.9.
3.范昕炜，支撑向量机算法的研究及其应用，浙江大学博士毕业论文，2003.5.
4.沈培华，支持矢量机的算法研究和应用，硕士毕业论文，2002.1.
5.Thorsten Joachims, Making Large-Scale SVM Learning Practical. LS-8 Report 24. Dortmund, USA. 15. June, 1998.
6.John C. Platt, Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines, Technical Report MSR-TR-98-14, 1998,4.
7.Wei-Chun Kao, Kai-Min Chung, Chia-Liang Sun, and Chih-Jen Lin, Decomposition Methods for Linear Support Vector Machines, available at: http://www.csie.ntu.edu.tw/~cjlin/papers/linear.pdf.
8.卫保国, 沈兰荪等. 数字化中医舌象分析仪. 中国医疗器械杂志. 2002, 26(3): 164-166.
9.王爱民，赵忠旭，沈兰荪，中医舌象自动分析中舌色、苔色分类方法的研究，北京生物医学工程报，2000.9.
10.沈兰荪, 王爱民, 卫保国. 图像分析技术在舌诊客观化中的应用. 电子学报, 2001, 29(12A): 1762-1765.
11.李建民，张钹，林福宗，支持向量机训练算法，清华大学学报，2003, 43(1):120-124.
12.标准数据来源于http://www.ics.uci.edu/mlearn/MLSummry.html.
 

摘 要

支撑向量机（Support Vector Machines，简称SVM）是基于统计学习理论的一种新的机器学习技术。由于采用了使用结构风险最小化原则替代经验风险最小化原则，它较好的解决了小样本学习问题。又由于采用了核函数思想，它把非线性空间的问题转换到线性空间，降低了算法的复杂度。正因为SVM理论有较为完备的理论基础和较好的学习性能，使得它成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。尽管SVM理论的性能在许多实际问题中得到了验证，但是该算法在计算上存在着一些问题，包括训练算法速度慢、算法复杂而难以实现以及检测阶段运算量大等等。本文针对上面的问题，主要对SVM算法进行了研究，并针对大规模数据集提出一种新的训练方法。为此，本文集中进行了下面一些研究工作。
首先对SVM理论进行基本概念上的介绍，并深入探讨了SVM算法的基本理论。然后对四种具体的SVM算法——SVMlight、SMO、BSVM和LIBSVM算法进行了深入研究，并利用标准数据对三种算法性能进行比较。
其次针对大规模训练集，为了克服训练算法速度慢，提高训练速度，提出了一种分块LIBSVM算法。这种算法将分块算法和LIBSVM两种算法相结合，将大规模问题分解为许多子块，并对每个子块进行快速优化。运用这种方法有望使大规模训练问题得到快速解决。
最后将SVM算法应用到舌象分析中。根据舌象数据的特点，分析将SVM应用于舌象分析的可行性。