目录
朴素Bayes分类器的应用研究与SVM的比较
1 引言
2 朴素贝叶斯分类器介绍
3 国内外现状
4 贝叶斯网络学习方法
5 面对离散化的分类学习
参考文献
朴素Bayes分类器的应用研究与SVM的比较
1 引言
贝叶斯方法有独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性等。贝叶斯方法提供了推理的一种概率手段朴素贝叶斯分类器是贝叶斯方法的著名应用，通常用于其他分类器难以处理的离散非数字型监督学习问题，如文本分类。本文构造的朴素贝叶斯分类器可以处理包含连续型和离散型两种随机变量的输入数据，适合处理含数字的文本分类问题。本论文对此进行两步构造，首先用已知的实例集构建分类器，通过训练和学习来构建分类器的已知的训练实例集，对分类器的构建进行有监督性的学习；然后使用构建好的分类器分类未知实例。一般在分类器被用来预测之前，需要对它的分类精度进行评估。只有分类准确率达到要求的分类器才可以用来对测试实例进行分类。假定待考查的变量遵循某种概率分布，且可根据这些概率及己观察到的数据进行推理，从而作出最优的决策。
2 朴素贝叶斯分类器介绍
分类有规则分类(查询)和非规则分类(有指导学习).贝叶斯分类是非规则分类,它通过训练集(已分类的例子集)训练(学习)而归纳出分类器(被预测变量是离散的称为分类,连续的称为回归),并利用分类器对没有分类的数据进行分类[4]。本文研究贝叶斯分类器家族中有代表性的分类器,即贝叶斯网络分类器[5] 、朴素(naive)贝叶斯分类器和TAN (tree augmented naive Bayesian)分类器,贝叶斯分类具有如下特点:
(1)贝叶斯分类并不把一个对象绝对地指派给某一类,而是通过计算得出属于某一类的概率,具有最大概率的类便是该对象所属的类;
(2)一般情况下在贝叶斯分类中所有的属性都潜在地起作用,即并不是一个或几个属性决定分类,而是所有的属性都参与分类;
(3)贝叶斯分类对象的属性可以是离散的、连续的,也可以是混合的。
根据给定的训练集归纳出分类器是数据采掘的一项重要而基本的任务,在众多的分类器中(决策树、决策图、神经网络和粗糙集分类器等),朴素贝叶斯分类器以简单的结构和良好的性能受到人们的关注,它是最优秀的分类器之一,在理论上它在满足其限定条件 下是最优的,针对其较强的限定条件,可以尝试着减弱它以扩大最优范围,从而产生更好的分类器[6]。
朴素贝叶斯分类器具有较强的限定(属性变量之间是条件独立的),理解这种独立性,即属性变量之间的条件独立性是指:属性变量之间的依赖相对于属性变量与类变量之间的依赖是可以忽略的,这就是为什么朴素贝叶斯分类器应用的最优范围比想象的要大得多的一个主要原因,TAN分类器是朴素贝叶斯分类器进行有效改进的分类器,它既有朴素贝叶斯分类器的简单性,又有比朴素贝叶斯分类器更好的分类性能,当然还可以对TAN分类器进行有效的改进,贝叶斯网络分类器在理论上是最优分类器,但准确地建立贝叶斯网络分类器结构非常困难,给出有效实用的贝叶斯网络分类器结构学习方法与算法是进一步研究的目标。
3 国内外现状
章舜仲等提出了一种基于属性相关性分析的贝叶斯分类策略（Correlated Bayes,CB），它是一种向量相关性的度量方法，并且给出了度量间存在相关度的估计公式，从而扩展了朴素贝叶斯分类模型。石洪波和王志海提出了一种限定性的双层贝叶斯分类模型DLBAN(double-Lever Bayesian Network Augmented Native Bayes),该方法的基本思想是搜索属性空间，找出能较强地影响其他属性的属性，那么被影响到其他属性可通过与这些属性的关联就可以表示他们之间的依赖关系。基于贝叶斯算法与其他算法的结合胡为成提出一种基于遗传算法朴素贝叶斯分类算法和模拟退火遗传算法的贝叶斯分类算法，这些算法避免数据预处理时的属性约简对分类效果的直接影响，在训练集上通过随机属性选取生成若个属性子集。
基于属性间的关系度量Kononenko提出一种采用穷尽搜索的属性分组技术，假定同一个组内的属性之间是相互依赖的，组与组之间是满足独立性假设的属性集合，即独立性假设弱化为这些属性子集之间是相互独立的。Sage和Langley构造了一种基于属性删除策略的选择性贝叶斯分类模型，当存在冗余属性时，既有部分属性依赖型于其他的属性，
