基于python开源爬虫框架scrapy的租房信息爬取系统任务书-毕业作品网站

毕业设计（论文）任务书

第1页

毕业设计（论文）题目：

基于python开源爬虫框架scrapy的租房信息爬取系统

毕业设计（论文）要求及原始数据（资料）：

1 . 综述国内外网络爬虫技术与反爬虫技术研究现状；

2 . 深入了解网络协议及协议运行相关技术；

3 . 深入了解非结构化数据库相关技术；

4 . 深入了解scrapy架构运行规则及爬取数据相关技术

5 . 设计并实现基于scrapy架构的爬虫程序

6 . 设计并实现基于非结构化数据库的数据存储数据结构

7 . 设计并实现基于python的数据处理与展示程序

8 . 训练检索文献资料和利用文献资料的能力；

9 . 训练撰写技术文档与学位论文的能力。

毕业设计（论文）主要内容：

1 . 综述国内外网络爬虫技术与反爬虫技术研究现状；

2 . 了解网络协议及协议运行相关技术；

3 . 了解scrapy及非结构化数据库相关技术；

4 . 深入分析爬虫程序中的关键技术及程序编写的设计流程

5 . 设计并实现基于scrapy架构的爬虫程序

6 . 设计并实现数据处理与展示程序

学生应交出的设计文件（论文）：

1．内容完整、层次清晰、叙述流畅、排版规范的毕业设计论文；

2．包括毕业设计论文、源程序等内容在内的毕业设计电子文档及其它相关材料。

主要参考文献（资料）：

[1] 王元卓. 网络大数据_现状与展望[J], 计算机学报,2013,36(6):1125-1138

[2] 2015-2020全球IP网络流量报告[C].

[3] 金朗. 我国住房租赁市场的问题与发展对策[J],,宏观经济管理2018.3:80-85

[4] 2015年中国网络租房调查报告[EB/OL].http://www.199it.com/archives

/379687.html

[5] 张浩. 基于Scrapy的房屋租赁信息搜索系统的设计与实现[D]. 西安电子科技大学, 2017.

[6] 梁文超. 网络租房法律规制研究[J], 法制与社会,2018.4(下):80-83

[7] 周立柱. 聚焦爬虫技术研究综述[J], 计算机应用,2005,25(9):1965-1969

[8] 网络爬虫_凶猛来袭[EB/OL].http://www.cnki.com.cn/Article/CJFDTot

al-FAYN201803032.htm

[9] 安子建. 基于Scrapy框架的网络爬虫实现与数据抓取分析[D]. 吉林大学, 2017.

[10] 陈利婷. 大数据时代的反爬虫技术[J], 电脑与信息技术,2016,24(6):60-61

[11] 刘石磊. 对反爬虫网站的应对策略[J], 电脑知识与技术,2017,13(15):19-23

[12] 张嘉琳. 由Robots协议引发的不正当竞争问题思考_以3百大战为视角[J], 法制与社会,2013.8(中):96-97

[13] 高祖瑞. 互联网竞争关系下的爬虫协议研究[J], 法制与社会,2018.3(上):85-87

[14] 管华. 对当今Python快速发展的研究与展望[J], 信息系统工程,2015.12.20:114-116