基于大数据的音乐流行趋势预测及推荐分析
摘 要
基于机器学习构建音乐流行趋势预测模型仅使用了离预测目标时间段较近范围的数据。本文对歌曲聚类后进行分组实验：以模糊集理论为基础，分解时间信息粒，构建“triangle”模型；采用SVM预测triangle模型的low，R，up参数，可得到准确的短时空间和趋势变化。这对于平台中原创行为、使用行为以及运营商的营销活动都有重要的指引作用。
系统实现用户对音乐评分的搜集（Python爬虫爬取数据），后端使用大教据推荐算法构造，前端使用MVC框架搭建大数据音乐推荐系统。系统教据序使用了关系型教据库MySQL。前端收集过用户行为数据后传到后端使用基于用户的协同过滤算法来推荐出用户可能喜欢的音乐。采用BS架构，使用Java程序设计语言、MySQL数据库、Hadoop离线分析、 java 开源工具Eclipse编写程序、Java的JRE运行环境、JSP页面等工具开发而来。
音乐流行趋势预测为企业预测未来流行音乐走向、预判黑马音乐提供了理论支撑和决策上的技术支持，具有重要的商业价值。相比传统预测方法，基于机器学习构建预测模型不仅理论完善，而且在实践中有强大的鲁棒性和泛化能力，可直接移植到平台中应用。
关键词：大数据；Hadoop；Python；Java；音乐数据分析；音乐推荐
Music pop trend prediction and recommendation analysis based on big data
Abstract
The music pop trend prediction model construction based on machine learning uses only the data close to the predicted target time period. In this paper, the grouping experiment is conducted after song clustering: based on the fuzzy set theory, decompose the time information particles and construct the "triangle" model; to predict the low, R and up parameters of the triangle model by SVM, we can get accurate short-time space and trend change. This is an important guiding role in the original behavior, usage behavior and carrier marketing activities on the platform.
The system realizes the collection of music score (Python crawler crawl data), the back end uses the big teaching data recommendation algorithm construction, and the front end uses the MVC framework to build the big data music recommendation system. The systematic reference order uses the relational reference library MySQL. The front end collected user behavior data and passed it to the back end using a user-based collaborative filtering algorithm to recommend music that the user may like. The BS architecture was developed by using the Java programming language, MySQL database, Hadoop offline analysis, java open source tool Eclipse programming, Java's JRE running environment, JSP page and other tools.
Music pop trend forecast provides theoretical support and decision-making technical support for enterprises to predict the future pop music trend and predict the dark horse music, which has important commercial value. Compared with traditional prediction methods, building prediction models based on machine learning is not only theoretically perfect, but also has strong robustness and generalization ability in practice, which can be directly transplanted to the platform for application.
Key words: big data; Hadoop; Python; Java; music data analysis; music recommendation
目录
摘 要
Abstract
第1章 前 言
1.1 研究背景
1.2 研究现状
1.2.1 国内研究现状
1.2.2 国外研究现状
1.3 发展趋势
1.4 研究主要内容
第2章 技术与原理
2.1 大数据环境
2.1.1 全球开源的Linux系统-Ubuntu
2.1.2 开源分大数据处理平台Hadoop
2.1.3 shell
2.1.4 kettle
2.1.5 Scala
2.2 数据获取与处理
2.2.1 Pymysql
2.2.2 Urllib.request
2.2.3 besutifulsoup4
2.3网页端
2.3.1 tomcat9
2.3.2 spring
第3章 数据采集及分析
3.1 数据获取
3.2 音频处理
3.2.1 音乐格式转换与时长处理
3.2.2 midi生成
3.3 音频特征
3.3.1 基础音频信息
3.3.2 统计特征提取
3.4 数据降维及归一化
3.4.1 PCA主成分分析
3.4.2 数据归一化
3.5 聚类算法
3.5.1 K-Means聚类
3.5.2 MiniBatch k-Means
3.5.3 评价聚类模型
3.6 分类算法
3.6.1 HMM算法(隐马尔可夫模型)
第4章 系统实现
4.1系统总体模块结构设计
4.2 局部模块设计
4.2.1 登录注册模块
4.2.2 热门推荐模块
4.2.3 新歌上架模块
4.2.4 个性化推荐模块
4.2.5 用户中心模块
4.2.6 音乐管理模块
4.2.7 用户管理模块
4.2.8 评论管理模块
4.3 系统角色功能设计
4.4 推荐系统数据库设计
4.4.1 数据库概念结构设计
4.4.2 数据库物理结构设计
4.5 大数据平台搭建设计
4.5.1 hadoop的安装与配置
4.5.2 spark的安装
4.6 推荐算法设计
第5章 结论
参考文献
致 谢
