姓名

学号

题目：                 基于python的凤凰网网络爬虫设计

主要内容：

本论文研究内容是基于Python的爬虫网络设计，利用Python的Scrapy的框架搭建爬虫网络，爬取凤凰网https://www.ifeng.com网页中的视频、财经、股票、小说四个栏目，并用Django框架做后台爬取数据管理展示。

实现基于Scrapy爬虫框架的数据采集系统，用户把需要爬取的主网进行一个任务树形式分配，一次配置，多次使用。而且对于相似的数据类型可以进行归类，后期的数据查询以及数据调用都是十分便捷的。从代码形式的爬虫工程转化成为一个Web页面形式，这样对于用户来说，难度大大降低，用户不需要去理解系统是如何运作，网页是如何解析，只需要按照必要的步骤去构建自己所需要的数据采集任务。

毕业论文（设计）要求及完成的工作：

（1）研究并分析大数据时代数据的特点，基于企业和个人对于数据的需求为背景，阐述开发基于以此为指导Scrapy框架的数据采集系统必要性。并且研究数据采集系统的历史发展进程为基于Scrapy框架的数据采集系统的设计与实现奠定了实践基础；

（2）对基于Scrapy框架的数据采集系统设计与实现所使用的主要技术进行说明；

（3）分析该数据采集系统的业务需求和功能需求；

（4）确定系统设计原则，对系统总体框架搭建、功能模块划分和数据库设计进行规划和阐述；

（5）设计与实现系统的功能模块。

进

度

安

排

起止日期

各阶段任务

1

2020.12.20-2021.03.20

收集资料完成开题报告提交论文写作提纲

2

2021.03.21-2021.04.20

进行论文设计

3

2021.04.21-2021.04.30

进行中期检查

4

2021.05.01-2021.05.20

完成初稿

5

2021.05.21-2021.06.09

完成二稿

6

2021.06.09-2021.06.13

完成定稿

7

2021.06.13-2021.06.17

准备论文答辩资料

8

2021.06.19-2021.06.23

进行毕业论文答辩

应收集的资料、主要参考文献：

[1]孙俊玲, 王高平, 贺中堃.互联网金融数据自动抓取和优化筛选框架设计与研究[J].财富时代, 2019, 000(009):P.112-112.

[2]杨君, 陈春玲, 余瀚. 基于Scrapy技术的数据采集系统的设计与实现[J]. 计算机技术与发展, 2018, 28(010):177-181.

[3]杨君. 基于Scrapy技术的数据采集系统的设计与实现[D].

[4]吴永聪. 浅谈Python爬虫技术的网页数据抓取与分析[J]. 计算机时代, 2019, 000(008):94-96.

[5]安子建. 基于Scrapy框架的网络爬虫实现与数据抓取分析[D].

[6]韩贝,马明栋,王得玉. 基Scrapy框架的爬虫和反爬虫研究[J]. 计算机技术与发展, 2019, 29(02):145-148.

[7]孙俊玲, 王高平, 贺中堃. 互联网金融数据自动抓取和优化筛选框架设计与研究[J]. 财富时代, 2019.

[8]吴凯,杨皓然,刘华.基于Python代理IP定向采集爬虫的方案设计与实现[J].信息周刊, 2019, 000(005):0146-0146.

[9]秦亚红,普措才仁.基于Scrapy的新闻网页数据抓取设计[J].电子技术与软件工程, 2020, No.174(04):176-177.

[10]王海玲,周志彬.基于Scrapy框架的爬虫设计[J].软件导刊, 2020, 019(004):224-228.

[11]熊畅.基Python爬虫技术的网页数据抓取与分析研究[J].数字技术与应用, 2017(9):35-36.

[12]杜鹏辉,仇继扬,彭书涛,等.基于Scrapy的网络爬虫的设计与实现[J].电子设计工程,2019, 27(22):120-123.

[13]李培.基于Python的网络爬虫与反爬虫技术研究[J].计算机与数字工程,2019,47(6).

[14]白杨.Python代理IP定向采集爬虫的设计与实现[J].中国新通信,2019, 21(01):40-41.

[15]翟普.python网络爬虫爬取策略对比分析[J].电脑知识与技术, 2020, v.16(01):34-35+39.

[16]周东.一种网页爬虫抓取方法及装置One kind of method and apparatus for gripping web crawlers:, 2017.

[17]Le X , Tian-Wei C , Wei Y.Web Big Data Scraping and Analysis Based on Python[J]. Computer Knowledge and Technology, 2018.

指导教师签字：

年    月    日

系主任签字：

年   月   日