附1.课题名称、来源、选题依据

1.1课题名称

基于大数据技术的房地产分析系统设计与实现

1.2课题来源

课题来源于生产实际。近二十年来，随着我国国力不断增强以及人均收入不断提高，人们对生活物质的追求也随之丰富化，体现在房地产市场就是中心城市住宅的需求量增多，优质地块的房屋供不应求。与此同时国家为了维持房地产市场的稳定也在不断出台政策进行调控，最大化的防止房地产泡沫的出现。在这种复杂多变的社会环境下，房地产市场从当初的新面孔逐步发展成目前全社会关注的焦点[1]。

1.3选题依据

近年来我国已经进入的大数据时代，各行各业的的数据呈爆发式增长，大数据已经广泛应用在人们生活的各个方面，包括房地产、金融、教育等行业[2]。大数据与房地产的结合，更加推动的房地产的多样化发展，使得房地产市场的形式愈发复杂，普通人很难透过房产表面交易数据认识到房地产的深层的发展趋势，人们对房地产市场的认知变得困难。为了帮助真正需要购房的人群，让他们看清当下房地产的发展趋势，房屋的价格走势，故进行基于大数据技术专业的分析研究，建立一套支持决策的房地产分析系统，得出一份科学合理的房地产分析报告。

2.课题国内外研究现状和发展趋势

2.1国外研究现状

目前国外基于大数据技术的房地产分析系统的研究大多停留在理论研究和概念阐述阶段。在理论研究方面，2011年Manyika等人最早发现出于世界房产成交量较低，因此难以获取来自大数据的激励，于是全面的研究了在大数据环境下，数据如何推动国民经济生产效率的提高，取得了良好的效果[3]。在产品方面，房地产经纪人 Zillow 和 Trulia 等大型房地产代理商所开发的大数据房地产产品，提供未来十年的房产价值估计预测，此外，他们的产品还提供有关邻里趋势、估计抵押贷款支付、拥有成本、财产历史和当前价值的信息等，这种演变降低了对房地产经纪人的重要性和需求，因为它能够收集大量仅为该地区的专家所知的地区信息[4]。在企业应用方面，Windermere就根据自身掌握的导航信息进行大数据的应用分析，为潜伏在的房地产需求用户规划上下班路线和时间[5]。

这些研究虽然都在各自着重的方面将大数据技术与房地产行业相结合，并取得了不错的研究成果，但是基本上没有一个完整的领域进行全面的大数据房地产分析，说明到目前为止，房地产大数据分析系统的应用在存在一定问题，如隐私保护、数据处理和国外数据巨头的竞 争等挑战，需要通过纵深的研究和合作予以解决。

2.2国内研究现状

对于国内基于大数据技术的房地产分析系统研究现状与国外相差不大，该领域缺乏更有深度的研究和实践。范志勇指出，大数据分析技术在房地产市场研究中还处于尝试阶段，在应用中还有很多具体的问题有待解决，但是不可否认的是大数据技术在房地产行业将会发挥越来越大的作用[6]。缪涛等人指出，大数据时代给房地产市场分析带来了重要的手段和技术功能，并从概念上探讨了大数据分析在房地产行业中的应用，通过大数据分析技术在房地产行业中的应用，将提高房地产行业市场分析的广度和深度，将会更好的为政府决策、行业管理提供决策依据[7]。杜丹阳、李爱华等人就大数据在我国房地产开发与营销中的使用进行了分析，指出大数据有利于房地产企业的理性开发与投资，并从理论上分析了大数据应用在实践中将会遇到的挑战[8]。刘枬、刘小娟等人就房地产大数据的层次结构研究、融合利用研究、交易与定价机制研究、市场运作机制研究进行了理论全面的梳理[9]。国家统计局浙江调查总队课题组就大数据技术在方法理论、调查实践等方面在房价统计的应用上调研其可行性，得出了大数据技术的适用性结论[10]。

研究中发现，目前主要是就大数据技术在房地产行业的可用性、问题和挑战进行阐述，为大数据技术在房地产行业的应用提供了丰富的理论研究，但并未从技术的角度进行大数据技术的实践。已有的成果虽然展现了大数据在房地产业的前景和可能性，探讨了大数据在行情预测与政策分析上的实际操作，但多为浅显的调查及应用前景初探，尚未触及房地产“大数据”的核心，研究也比较零散和局限，缺乏有深度的研究[11]。

2.3发展趋势

综上所述，大数据背景下的房地产分析系统未来的发展道路还很漫长，需要研究人员解决目前所存在的问题，而不是停留在理论研究层面。未来这方面的研究需要从一下几个方面展开：房地产大数据的确立、分类和层次结构研究；房地产业大数据的融合利用研究；房地产大数据的交易机制和定价模型研究；房地产大数据的市场运作机制研究。

3.本课题的目的及意义

随着互联网技术的普及，房地产公司选择与互联网结合，因此房产销售网站不断涌现出来，如：安居客、房天下、我爱我家、链家网等等[5]。对于群众而言，如何在众多的网站中找到真实的、可靠的、性价比高的房源成了一大难题。为了解决这一难题，本项目从众多网站中获取新一线城市（排名前十）新房信息结合大数据技术对当前房地产市场的发展进行专业的分析，利用数据分析与挖掘技术从众多不同数据源中提取出有价值的信息，建立一套支持购房决策的分析系统，帮助购房者更加清楚房价走势以及如何购买性价比合适的房屋。

4. 本课题的任务、重点内容、研究方法、实现途径

4.1课题任务

面向房地产典型网站进行数据采集，将采集的数据储存于大数据平台=，构建基于离线数据仓库的分析模型和房产信息推荐系统，提出研究与设计过程中所面临的问题及关键技术。

4.2重点内容

①面向典型房产网站的新房、二手房信息爬取、信息预处理及信息存储管理。

②基于大数据平台技术的数据仓库构建。

③房产信息推荐算法研究。

4.3研究方法

①文献研究法

主要通过对文献的阅读，了解国内外研究现状和相关技术，为课题研究确定研究依据。

②数据分析法

主要通过收集典型房产网站数据，分析其特点，从而找到适合的模型或算法。

③实验分析法

在算法或模型实现基础上，通过大量的实验计算，验证相关模型或算法，并以此为基础，完成原型系统的开发实现。

4.4实现途径

①房产信息采集

使用Scrapy框架进行数据爬取，从对房天下官网爬取新房的信息。获取2021年我国新一线城市排名前十的城市新房信息，获取的信息包含首页、详情页等各项项目所需信息。网络爬虫的常用处理方法包括请求头、模拟登陆、分页爬取、深层爬取、动态加载数据、数据入库等功能。由于该模块主要是为后面数仓建设服务，故数据每天都进行采集更新，实现数据仓库历史数据的定时更新。

②数据仓库构建

基于Hadoop、Hive、Spark、Zookeeper等组件构建基于大数据平台的数据仓库。数据仓库设计是整个项目的核心，对Scrapy每天获取来的数据进行储存和建模，按时间进行每天分区，每天处理当天的数据。根据所要完成的业务逻辑，完成数据从ODS层到CDM层到ADS层的建模流程，最后输出的ADS层数据用于提供数据分析与挖掘和报表展示等。

③房产推荐模型设计

使用基于用户的协同过滤算法，实现房产信息系统的推荐。

④系统功能设计

Web系统包括如下功能：

房产信息查询：该页面主要展示房产的基本信息和历史房价的变化趋势，可根据时间、区域、房价范围等条件进行筛选。

房产信息总览：展示小区数量、均价、建筑面积、房价分布图、 建筑类型分布图、评分分布图、小区类型占比分布图等信息，装修状况分布图，销售状态分布图，可根据区域进行筛选。

房产信息可视化功能：根据具体情况制作其他报表展示功能，为购房者呈现清晰的房产信息，提供购房支持决策。

房产信息推荐：根据用户对楼盘的行为操作，为不同用户进行个性化的楼盘推荐。

4.5 本课题的进度时间安排

①　2021.11.8-2021.12.3：完成毕业设计开题。

②　2021.12.4-2021.12.31：完成房地产信息数据爬取与处理工作。

③　2022.1.1-2022.1.20：完成数据仓库构建、挖掘算法的设计与开发工作。

④　2022.1.21-2022.2.9：完成数据分析与数据可视化功能的设计与开发。

⑤　2022.2.10-2022.3.10：完成毕业设计（论文）报告初稿撰写。

⑥　2022.3.11-2022.4.10：完成毕业答辩稿和PPT的编写工作。

⑦　2022.4.11-2022.5.17：完成毕业答辩稿和PPT的编写工作。

⑧　2022.5.18-2022.5.25：完成毕业论文答辩和论文终稿。

4.6 毕业设计报告大纲

1  绪  论

1.1系统的背景及意义

1.2 研究现状

1.2.1国外研究现状

1.2.2国内研究现状

1.3 论文的组织结构

2 相关理论及主要技术

2.1 Hadoop

2.2 Spark

2.3 数据仓库

2.4 算法介绍

3 需求分析

3.1 系统总体需求分析

3.2系统功能性需求分析

3.3 系统角色

3.4系统非功能需求

4 系统设计

4.1 系统总体架构

4.2 系统层次结构设计

4.3 数据采集设计

4.4 数据仓库设计

4.5 数据库设计

5  系统实现

5.1 数据采集

5.2 数据仓库

5.2 房产信息查询

5.3 推荐系统

6  系统测试

6.1 系统环境

6.2 系统测试

6.3 测试结果分析

7  总结与展望

7.1 总价

7.2 展望

5.完成本课题所需工作条件（如工具书、计算机、实验、调研等）及解决办法

本课题所需工作条件

①　Windows10系统电脑一台、16G内存、8核处理器

②　编辑器：Python 3.9、Anaconda 3、PyCharm

③　Java1.8、Tomcat

④　MySQL、MongoDB、Hive

参考文献

[1] 张晖. 基于大数据技术的城市二手房价格预测[D].合肥：安徽建筑大学,2020.

[2] 李英楠. 基于Hive的购销数据仓库系统的设计与实现[D].重庆：西南大学,2020.

[3] Winson Geideman Kimberly. Real Estate Analysis in the Information Age:Techniques for Big Data and Statistical Modeling[M]. Cleveland, Ohio: CRC Press, 2017.

[4] 范志勇.大数据分析技术在我国房地产市场研究中的应用[J].北方经贸,2015

(01):26-27.

[5] 黄永勤.国外大数据研究热点及发展趋势探析[J].情报杂志,2014,33(06):99-104

+78.

[6]吴贤凯. 基于Hadoop的房地产交易大数据分析应用系统[D].广州：华南理工大学,2017.

[7]范志勇.大数据分析技术在我国房地产市场研究中的应用[J].北方经贸,2015(1):26-27.

[8]缪涛,洪建国,林波,等.大数据在房地产市场分析中的应用[J].中国房地产:学术版,2016(15):20-28.

[9]杜丹阳,李爱华.大数据在我国房地产企业中的应用研究[J].中国房地产:学术版,

2014(6):66-74.

[10]刘枬,刘小娟.房地产大数据的研究现状和趋势分析[J].建筑经济,2015,36(6):

71-73.

[11]国家统计局浙江调查总队课题组.大数据在浙江房价统计中的应用研究[J].统计科学与实践,2014(8):12-16.

[12]王国霞,刘贺平.个性化推荐系统综述[J].计算机工程与应用,2012,48(007):66-

76.

[13]张镜云.关于我国房地产现状及调控措施的分析[J].房地产界,2022(05):13-15.

[14]孙俊宇. 基于Elasticsearch的房地产大数据分析系统[D].西安:西安电子科技大学,2019.

[15]郑晓俐.大数据时代对房地产估价行业的影响及对策分析——以杭州市为例[J]. 住宅与房地产, 2016(10X):1-2.

指导教师意见

签字：                年     月     日

系（教研室）意见

系（教研室）主任签字：                年     月     日