搜索引擎中资源挖掘的研究与实现
摘 要
随着Internet的迅速发展，网上信息以几何级数增长，面对Internet上大量丰富的信息，用户面临一个重大的问题：在成千上万个网站中，如何快速有效地找到所需的信息？搜索引擎(Search Engine)正是为解决这一重大问题而问世的。它是一个专门提供用户查Internet上信息的网站。当用户查询时，搜索引擎会提交满足用户查询的所有网址，并提供通向该网站的链接。
搜索引擎由三部分组成：负责从网上收集信息的蜘蛛Spider，对信息进行索引的索引器Indexer，处理用户查询并提供用户界面的搜索器Searcher。本文主要研究中文文本WEB搜索引擎设计中面临的关键技术以及相应的设计实现。文章首先介绍了搜索引擎的基本系统结构，概括介绍了搜索引擎的主要结构框架。然后介绍了如何快速、有效地获得WEB上的信息，并且介绍了搜寻程序在设计时应考虑的问题以及相应的算法实现。此系统采用功能强大的Microsoft Visual C++作为开发工具来开发。
[关键词]：WEB搜索引擎，网络蜘蛛，索引器，Microsoft Visual C++
Study and realization on resources collection
of the Search Engine
ABSTRACT
With the rapid development of Internet, the quantity of information on Internet is increasing very quickly. Facing the large amount of information on Internet, the users have to meet one critical question that how to get the information which they need from thousands of Websites on Internet. Search engine was introduced to solve this problem. It is a Website that provides users to query information on Internet. When users query, Search engine will supply them all of websites which include those information they need and provide the links to those web.
Search Engine(S.E) is composed of three parts: Spider in charge of fetching information from WWW, Indexer in charge of organizing the information and Searcher in charge of providing the information for users. In this paper, we focus on the key technology in design and implementation of Chinese Textual WEB search engine. After giving a demonstration of the basic structure of WEB search engine, three main modules are introduced. The Robot is designed to crawl WEB, which should be given a quick and efficient algorithm. In order to index the documents gotten from WEB, they must be indexed. The system uses Microsoft Visual C++ to develop.
[Keyword]: WEB Search engine, Spider, Indexer, Microsoft Visual C++
目 录
摘要 Ⅰ
ABSTRACT Ⅰ
第一章 绪论 1
1.1搜索引擎概述 1
1.2搜索引擎现状 1
1.3搜索引擎体系结构 2
1.3.1 Spider工作原理 3
1.3.2索引器Indexer的工作原理 4
1.3.3 Searcher的工作原理 5
1.4本文研究内容 5
第二章 与本文的相关技术 6
2.1 HTTP协议 6
2.2 HTML语言 7
2.2.1 HTML语言简介 7
2.2.2 HTML的标题头 7
2.2.3 HTML中标准超链的各种语法 8
第三章 网络蜘蛛的实现 9
3.1网络蜘蛛概述 9
3.2网络蜘蛛实现的网络基础 9
3.2.1 WWW中页面内容与链接的特点 9
3.2.2超链接与页面内容的关系 10
3.2.3页面质量的评价 10
3.3网络蜘蛛寻找WWW文档 11
3.4相关性的判断 11
3.5网络蜘蛛排斥标准 12
3.6网络蜘蛛实现的关键技术 13
3.6.1起始地址的选择 13
3.6.2漫游空间的划分 13
3.6.3网络蜘蛛的控制原则 14
3.7网络蜘蛛的实现算法 15
3.7.1网络蜘蛛算法分析 15
3.7.2网络蜘蛛流程图的设计 15
3.7.3网络蜘蛛功能实现 17
第四章 总结与展望 25
4.1本文总结 25
4.2对未来工作的展望 25
致谢 26
参考文献 26
第一章 绪论
1.1 搜索引擎概述
随着Internet的迅速发展，网上信息以爆炸性的速度不断丰富和扩展，WWW网站成千上万，而且这些信息是极其无序的。因此如何获取和利用Internet上的信息就成了一个重大问题。目前解决这一问题的最佳途径就是利用搜索引擎。Internet上的信息呈几何级数增长，快速有效地查询信息是一项艰巨的任务，这个需求直接导致了Internet信息检索技术的快速发展，各类搜索引擎层出不穷。搜索引擎是一种组织信息、检索信息的网上检索工具。它的实现一般有两种方式:一种是通过手工方式对网页进行索引，这种实现机制的缺点是WWW的覆盖率比较低，不能保证最新的信息，查询匹配是通过用户写入的关键字和网页的描述和标题来进行匹配，而不是通过全文检索匹配进行，其优点是搜索准确率较高;第二种是对网页全文进行自动索引，实现自动的文档分类，优点是覆盖率高，但准确率不如手工方式目前大多数搜索引擎都采用全文检索技术。
