姓 名： 院 （系）：计算机科学与技术专 业：计算机科学与技术 班 号：

任务起至日期：  年 2 月 25 日 至  年 6 月 30 日

毕业设计（论文）题目：

基于特征熵值分析的网站分类系统实现

立题的目的和意义：

随着互联网技术的飞速发展，Internet 上的 Web 页面呈指数型增长。对于如何自动对这些海量数据有效处理和管理，来取代低效繁琐的人工分类，Web 文本分类技术成了关键技术。目前对于这方面的研究已经有了很大进展，并且产生了一系列分类方法，其中，KNN 算法简单、有效、参数无关，目前的应用非常广泛。但是，传统 KNN 算法有不少的缺陷，最关键的两个缺陷是运行速度太慢和分类精度不高。本设计对 KNN 算法的缺陷产生原因进行详细地分析，并针对缺陷对算法进行了引入属性熵值等一系列的改进，使得改进的 KNN 算法达到高速、高精度的性能，并且基于改进后的新 KNN 算法，搭建一个真正实用性强的网站分类系统。

技术要求与主要内容：

一个高效的基于改进 KNN 算法网站分类系统由网页内容的下载、页面处理、特征提取、特征向量表示、分类器训练、快速运行决策、提高精度的决策等方面组成。

（1）设计一个高效爬虫模块和高效的页面处理算法；

（2）设计一个精准的特征提取算法，以及特征向量的表示方法；

（3）针对 KNN 算法在速度上的不足，分析影响速度的主要因素，并且对这些因素进行改进，使得新算法在速度上达到高速运行；

（4）针对 KNN 算法在分类精度上的不足，分析影响精度的主要因素，并且对这些因素进行改进，使得新算法在精度上得到大幅度提高；

（5）利用设计模式相关思想将各个模块组建成一个实用、操作简易的图形化界面的系统。