1.课题名称、来源、选题依据

1.1课题名称

基于大数据技术的高校专业调研管理

1.2课题来源

课题来源于社会调研。近三十年来，我国经济日益增长的情况下，在高校教育及就业问题，当代大学生就业进行了自然而然的优胜劣汰,使得企业乃至整个行业以后的发展会更加规范。 而大学生没能在这一转机中受到青睐,其根本原因是大学生毕业后，不具备相关工作的胜任力。 2. 大学生创业比重逐年提升创业是就业之源，以创业促就业，变被动为主动，是大学毕业生面对严峻就业形势的一种积极思路，随着鼓励大学生自主创业的优惠政策和帮扶讣划陆续出台，大学生创业环境和创业条件也日趋成熟。 山东省规定对高校毕业生从事个体经营的，除国家限制行业外,三年内免交登记类、管理类和证照类的各项行政事业性收费，毕业生两年内创业资金不足的可申请小额担保贷款等。 许多高校和相关政府部门开设了创业培训方面的课程和创业实践活动，提高大学生的创业兴趣，培养大学生创业知识和创业技能。

1.3选题依据

随着科技的发展各个高校也开展不同计算机课程，社会对其需求量也不断上升，但遇到专业不对口案例越发严重。需要从

各个高校专业负责人定期都会开展专业调研工作，分析高校人才培养与企业用人实际需求之间存在的差距，为专业建设、课程建设、人才培养方案的调整提供方向和依据。从网络调研、企业调研、高校调研等三个维度，构建一套专门用于高校的专业调研管理系统，为高校专业负责人提供辅助，具有非常重要的现实意义。

2.课题国内外研究现状和发展趋势

2.1国外研究现状

近几年来国外针对与大数据高校专业调研管理系统的研究相对其一流大学的大数据专业发展至少比国内提前三年左右，诸多高校以数据分析学专业为基础，建设了数据科学专业2013 年，纽约大学开设的数据科学硕士专业，代表着向数据科学的实质性过渡。在此以后，数据科学专业在多个学校纷纷开始建设( 张长海，2019)

斯坦福大学。由计算与数学学院和统计系共同设立数据科学专业，授予学位为数据科学方向的统计学理学硕士。课程设置方面，分为5个模块: 基础课程、数据科学、现代应用统计学、高级科学编程及高性能计算、专业选修。该学校此专业的培养方上突出的是将数据科学作为统计科学的一个细分方向，以统计科学为侧重，注重两者的深度结合以及不同专业的融合，培养面向数据科学的统计学家。卡内基梅隆大学。数据科学专业学生的培养，呈现分散化特征，也就是说此专业学生被分散在很多专业，对应的公共政策、工商管理、信息系统管理、计算数据科学等学位项目也很多。计数据科学专业是其中最直接用数据科学命名的专业之一。课程体系上，很多课程都以计算机专业为背景。培养特色上，主要注重跨学科方法与计算机科学的融合利用，突出计算机的主干作用，拓展相关大数据应用知识学习。

2.2国内研究现状

对于国内基于大数据技术的高校专业调研管理研究现状与国外相差无几，但最大的区别依然是发展情况，在我国随着高校的发展，大数据也展露头角，，我们的研究对象主要包含教育部已经审批或者备案的高校，同时鉴于数据科学与大数据技术专业开设高校较多，且大多数也开设管理类或经济类课程，借鉴意义较大，所以对这一专业也适当涉及。2016 年，北京大学、对外经贸大学及中南大学获《普通高等学校本科专业备案和审批结果》建设“数据科学与大数据技术”专业( 代码 080910T) 。2017 年，第二批备案名单中涵盖32所高校。2018 年，教育部首次增设“大数据管理与应 用”专业( 代码 120108T) 并有 5 所高校获批。国内方面，我们的主要研究对象既包含已经获得审批的学校，也包含已经备案的学校，调研专业包含大数据管理与应用和数据科学与大数据技术。西安交通大学。其管理学院，设立了大数据管理与应用专业。该专业建设中，以三个模块( 基础课、专业核心课和选修课) 来设计，目的是培养学生学会利用商务数据进行相关定量分析，成为可以做智能化商业决策的综合型人才，并具有合理知识结构的复合型人才。 对外经贸大学。其信息学院的数据科学与大数据技 术专业，2017 年开始招生。该校大数据专业以学科基础课与专业方向课共同构成课程体系，专业设置的目的是培养学生形成较强的数理分析能力，逐步掌握数据挖掘工具和分析方法，了解比较常见的各种大数据分析平台，能够从事不同领域数据分析工作的高素质人才。加州大学伯克利分校。其信息学院设有信息与数据科学专业，授予的学位为信息和数据科学专业硕士。课程体系上，包含三类课程( 基础课程、高级课程和综合训练课程) ，该学院整体课程设计的重中之重是数据清洗、存储与检索此外重要课程还包含数据挖掘、数据可视化等分析类课程。可见，该校大数据专业的定位较高，尤其是希望培养出这一专业领域的领导者，侧重让学生学习与应用前沿大数据工具，同时希望通过数据分析探查思想，解决大数据相关复杂问题。

2.3发展趋势

综上所述，大数据背景下的高校专业调研管理在未来的发展依然需要我们砥砺前行，同时也需要研究人员解决目前所存在的问题特别是提高高校专业的教育水平和专业知识基础，而不是停留在理论研究层面。高校专业大数据的融合利用研究；大数据管理与应用专业的建设上需重点培养两方面素质的人才: 一是掌握数据采集、数据清洗、数据处理、数据分析的方法; 二是数据分析能力，熟悉大数据分析和数据建模; 从课程设置上，需构建“专业基础+专业核心+项目实战”课程体系，加强数据科学特色课程和因果和计量方面分析课程建设，注重结合人文和管理领域，拓展数据管理的相关应用知识的介绍，不断促进专业发展。

3.本课题的目的及意义

随着现阶段国力的发展并且互联网时代的来临，当前很多高校逐渐开展了互联网相关专业，为了让诸多的高校中的专业更好的和社会中相关岗位相结合，因此现有很多就业网站不断的浮现，不单单是PC端甚至在APP等等都可以看到它们的身影

如:BOSS直聘、前途无忧、人才网等等对于大学生而言，如何在众多的网站中找到真实的、可靠的、性价比高的岗位。为了解决这一难题，本项目从众多网站中获取信息结合大数据技术对当前互联网行业的发展进行专业的分析，利用数据分析与挖掘技术从众多不同数据源中提取出有价值的信息，构建基于大数据技术的高校专业调研管理系统，帮助大学生甚至各高校深入了解当前互联网行业形式。

4. 本课题的任务、重点内容、研究方法、实现途径、进度计划

4.1课题任务

通过网络调研、企业调研、高校专业调研三种途径来获取数据使用爬虫对其进行数据采集，将采集的数据存储于Hadoop大数据平台中，基于Hive构建离线数据仓库的分析模型和专业信息可视化大屏展示，构建一套专门用于高校的专业调研管理系统，为高校专业负责人提供辅助。

4.2重点任务

①数据采集及清洗；

②可视化分析大屏分析和设计；

③基于大数据平台技术的数据仓库构建；

④Web系统的实现。

4.3研究方法

①参考文献研究方法

主要通过对参考文献的阅读以及分析，了解国内外当前研究的现状和相关技术，为课题分析研究得出相关依据。

②数据采集与分析方法

通过数据采集和分析可以得到当前社会行业的问题和趋势，来针对性增加当代高校专业的针对性。

③社会、高校调研分析

通过初步的调研分析得到结果相对于高校很有帮助更奠定了此项目的成立。

4.4实现途径

图1 高校专业调研管理系统实现途径

①数据采集

使用Scrapy框架进行数据爬取，从对各大招聘网站爬取招聘相关的信息。获取2022年我国在各个专业中就业情况和专业趋势，获取的信息包含不同城市首页、详情页等各项项目所需信息。网络爬虫的常用处理方法包括请求头（header）、模拟登陆、分页爬取、深度爬取、动态加载数据（Json）、数据入库等功能。由于该数据为了后面构建相关数据库和数据仓库，故数据定时进行采集更新获取到最新数据，实现数据仓库历史数据的定时更新。

②数据仓库构建、本地仓库构建

基于Hadoop、Hive、Zookeeper等组件构建基于大数据平台的数据仓库。数据仓库设计是整个项目的核心同时构建本地仓库使用Mysql、缓存使用Redis，对Scrapy定时爬取得来的数据进行储存和清洗，按时间进行定时分区，定时处理当天的数据。根据所要完成的业务逻辑。

③可视化大屏

通过使用定时爬取的数据存储并清洗完成存入数据仓库和本地仓库的数据进行可视化设计分析及展示。

④Web系统实现

Web系统包括如下功能：

高校专业查询：该页面主要展示高校专业的基本信息和就业对应岗位信息的变化趋势，可根据时间、区域、不同高校范围等条件进行筛选。

公司、高校及岗位总览：展示岗位名称、薪资、福利待遇、公司架构、 公司规模、公司地址、招聘详细等信息，公司规模，地域，薪资等进行筛选。

专业调研可视化大屏：根据具体情况制作展示功能，各个高校专业负责人定期都会开展专业调研工作，分析高校人才培养与企业用人实际需求之间存在的差距。

4.5本课题的进度时间安排

①　2022.11.09-2022.12.11：完成毕业设计开题。

②　2022.12.12-2023.02.26：项目设计与主体功能实现

③　2023.02.06-2023.03.12：完成毕业设计（论文）初稿

④　2023.03.13-2023.03.26：中期检查及项目功能完善

⑤　2023.03.27-2023.04.16：功能完善以及毕业设计（论文）定稿查重

⑥　2023.03.27-2023.04.16：毕业设计（论文）评阅。

⑦　2023.05.06-2023.05.28：毕业设计（论文）答辩。

5.完成本课题所需工作条件（如工具书、计算机、实验、调研等）及解决办法

本课题所需工作条件：

①　Windows10系统电脑一台、16G内存、8核处理器

②　编辑器：Python 3.8 、Anaconda 3、PyCharm、VScode

③　Java1.8、Hadoop

④　Mysql、Redis、Hive

⑤　Vue、Django

参考文献

[1] 陈学风,刘志宏,高德昌,等.开展专业大调研，为专业内涵建设“赋能”[J].猪业科学,2022,39(08):62-65.

[2] 龙启文.基于大数据的高校专业岗位职业能力分析系统设计[J].中小学电教,2021(10):16-19.

[3] 雷博文. 基于大数据的实时数据仓库的设计与实现[D].北京：中国地质大学,2021.

[4] 吴义. 基于Hadoop和Django的大数据可视化分析Web系统[D].上海:东华大学,2016.

[5] 杨风云,贺子权,王府扬.国家级一流本科专业建设视角下的专业认可度调研——以合肥工业大学宣城校区材料工程系为例[J].新课程研究,2022(24):57-59.

[6] 于洋.基于大数据技术的高职院校软件技术专业目标岗位调研模型的研究与探讨[J].辽宁省交通高等专科学校学报,2021,23(02):79-82.

[7] 李英楠. 基于Hive的购销数据仓库系统的设计与实现[D].重庆：西南大学,2020.

[8] 胡永凯. 云平台下的大数据可视化实现[D].成都：电子科技大学,2022.

[9] 田书丽. 互联网招聘数据分析与可视化系统设计与实现[D].重庆:西南大学,2022.

[10] 张展程. 基于深度学习的网络爬虫算法研究[D].南宁:广西大学,2022.

[11] Hena M.Jeyanthi N. Distributed authentication framework for Hadoop based bigdata environment[J]. Journal of Ambient Intelligence and Humanized Computing, 2021, 13(9) : 4397-4414.

指导教师意见

签字：                年     月     日

系（教研室）意见

（是否通过答辩，修改意见，是否同意开题。填写内容后请删除本行）

系（教研室）主任签字：                年     月     日